Le 16 novembre 1801, Lucien Bonaparte rentre de Madrid où il a été envoyé un an plus tôt par Napoléon comme ambassadeur. Agé seulement de 26 ans, il a déjà derrière lui un brillant parcours politique. Père de deux fillettes de 6 et 3 ans, Charlotte et Christine, il est veuf depuis quelques mois de Christine Boyer, la fille d’un aubergiste de Saint-Maximin épousée en 1794, au grand dam de sa mère et de Napoléon qui ne la considéraient pas d’assez bon rang pour intégrer le clan Bonaparte. Il ne lui faut pas plus de huit jours pour dénicher l’hôtel particulier qui abritera sa famille et sa collection d’œuvres d’art qui s’est beaucoup enrichie durant son séjour en Espagne.

Ainsi, le 22 novembre, il loue, pour 1 200 francs, l’hôtel de Brienne décrit par le bail comme « une grande maison sise rue Saint Dominique Faubourg Saint Germain Numéro 200 consistant en une grande cour ayant son entrée par la rue, grands corps de bâtiment entre Cour et jardin, écuries et remises, bâtiments et dépendances, grand jardin et autres dépendances. » Avec sa magnifique enfilade de dix pièces au rez-de-chaussée, la demeure a conservé, à quelques détails près, la configuration intérieure établie du temps de Loménie de Brienne (entre 1776 et 1794). Certains éléments du décor, notamment des boiseries et tableaux qui ornent les murs, datent de la princesse de Conti, maîtresse des lieux au début du XVIIIᵉ siècle. 

Dès l’année suivante, Lucien décide d’acheter l’hôtel (230 050 francs) afin d’engager un vaste programme de travaux, confiés peut-être à l’architecte Bernard Poyet. D’après le témoignage du compositeur allemand Jean-Frédéric Reichardt, qui visite la résidence le 1er avril 1803, Lucien « ne regarde pas à la dépense » pour la décorer selon le dernier style et lui donner un « caractère grandiose » avec des « boiseries plus riches », des « tapisseries plus rares », des « parquets plus soignés ». L’heureux propriétaire estime avoir investi un million de livres dans ces transformations. « Si la dépense est énorme, remarque Reichardt, il faut convenir que Lucien s’est créé une résidence magnifique, d’un goût sobre et délicat, sans clinquant ni colifichets. » 

Le confort n’a pas été sacrifié au nom de l’esthétique. Dans ses Souvenirs de Paris en 1804 l’écrivain August von Kotzebue apprécie le système de chauffage à air pulsé : « Je dirai en passant qu’on ne trouve nulle part à Paris une chaleur aussi égale et aussi modérée que dans les appartements du palais de Lucien. Cela étonne d’autant plus, qu’on n’y voit aucun poêle, et qu’il faut chercher longtemps avant d’apercevoir de petites ouvertures pratiques un peu au-dessus du plancher, qui reçoivent de la chaleur de l’étage inférieur, et par le moyen desquelles cette chaleur se distribue également et modérément. » L’usage de cet équipement moderne se limitait alors aux grandes institutions telle que la salle du Conseil des Cinq-Cents au Palais Bourbon.

Après la suppression de plusieurs cloisons, l’enfilade du rez-de-chaussée ne comporte plus que six pièces. Dans l’aile basse située à l’Ouest, une chambre à coucher, un boudoir, un cabinet en acajou, une antichambre et plusieurs dégagements ont disparu au profit d’une vaste galerie éclairée par cinq baies, aménagée pour accueillir la collection de tableaux de Lucien, présentée par école. A l’Est, dans le prolongement d’un grand salon ouvrant sur le jardin, il fait construire une nouvelle aile, à l’emplacement d’une petite cour et des offices, pour héberger ses œuvres néerlandaises. L’éclairage zénithal du bâtiment offre une parfaite mise en lumière des tableaux et permet d’augmenter, sur les murs sans fenêtre, la surface disponible pour les cimaises. La duchesse d’Abrantès affirme que Lucien a fait de sa maison « un musée » et le philosophe Friedrich Schlegel considère sa collection mieux présentée que celles des musées publics : « chaque tableau bénéficie du traitement qu’il mérite et la contemplation n’est gênée ou empêchée par aucun accrochage désavantageux. »

Cette collection, encensée par ses contemporains, est considérable. Un document établi le 13 juin 1804, peu de temps après le départ de Lucien Bonaparte, recense 88 tableaux attribués à différentes écoles dont 41 italiens, 19 français, 12 hollandais, 8 flamands, 4 espagnols et 1 allemand. Parmi ces toiles, Reichardt remarque le Belisaire de David, « si magistralement composé », celles de l’Espagnolet, « qui a un mérite spécial », et des grands peintres de la Renaissance italienne tels que Pérugin, Léonard de Vinci et Raphaël. Les œuvres italiennes retiennent également l’attention de Schlegel notamment un Saint Augustin du Pérugin, une Tête de Dieu le Père de Raphaël et une Léda d’Andrea del Sarto. La plupart des œuvres françaises datent du XVIIᵉ siècle, Lucien semble avoir voulu réunir tous les meilleurs artistes de cette période (Lorrain, Poussin, Le Nain, Greuze, etc.). Kotzebue est fasciné par Le Retour de Marcus Sextus tableau de Pierre-Narcisse Guérin qui fut très apprécié au Salon de 1799.

Dans ce bel écrin, Lucien, Sénateur et Président de l’Institut, reçoit fastueusement de nombreux artistes, intellectuels et hommes politiques, entourés des plus belles femmes de Paris. L’hôtel devient le haut lieu de la mondanité parisienne et parfois le décor de manifestations officielles. Dans les Mémoires d’outre-tombe, Chateaubriand raconte que c’est dans la galerie de tableaux qu’il a rencontré, pour la première fois, Napoléon, au cours d’une fête donnée par Lucien pour célébrer la signature du Concordat. 

L’hôtel abrite aussi un passage secret qui va contribuer à sa légende. A l’été 1802, Lucien tombe follement amoureux d’Alexandrine de Bleschamp qu’il loge place du Corps-Législatif, non loin de sa demeure. Pour rejoindre sa maîtresse à toute heure et en toute discrétion, il fait relier les deux résidences par un couloir souterrain qui aboutit d’un côté dans la cour d’Alexandrine et de l’autre dans sa propre galerie de tableaux ! Letizia, la mère de Lucien, utilise parfois le passage et lors d’un épisode fameux, maintes fois raconté, un homme s’enfuit en la croisant. Son éperon, perdu dans la course, le désigne comme l’un des aides de camp de Napoléon. Le couple est démasqué ! 

Ce qui aurait pu être un simple épisode rocambolesque, devient une affaire de famille qui conduit les deux frères à la rupture. Le 24 mai 1803, les deux amoureux accueillent leur premier enfant, Charles-Lucien. Quelques mois plus tard, le 26 octobre, ils se marient, provoquant la colère de Napoléon qui avait d’autres projets d’alliance pour son cadet. Dès lors, il ne cessera d’exiger de Lucien qu’il divorce. En décembre 1803, autant par amour que par orgueil, Lucien, accompagné de sa famille, quitte son cher « musée » pour un long exil italien dont il ne reviendra que provisoirement au moment des Cent-Jours. Il emporte avec lui la plupart de ses tableaux et son âme de collectionneur. Un catalogue publié en 1812 compte pas moins de 134 peintures. Le couple se séparera progressivement des œuvres dans les années de mauvaise fortune.