Le collectionneur Moïse de Camondo, né à Istanbul en 1860, est le descendant d’une famille juive sépharade. Au début du XIXe siècle, les Camondo ont fondé une banque qui devient l’une des plus importante de l’Empire Ottoman. Ils sont anoblis en 1867 par Victor-Emmanuel II en remerciement de leur soutien financier à la réunification de l’Italie.
Venus à Paris à la fin du Second Empire, les frères Abraham-Behor et Nissim se fixent à Paris dans deux hôtels particuliers de la rue de Monceau
A la génération suivante, les deux cousins Isaac (fils d’Abraham-Behor) et Moïse (fils de Nissim), deviennent des collectionneurs avertis et des personnalités du monde de l’art. Isaac (1851-1911), dont les goûts sont éclectiques, constitue une impressionnante collection d’œuvres d’art du XVIIIe siècle, d’estampes japonaises, d’objets d’art d’Extrême-Orient et de peinture impressionniste qu’il lèguera au musée du Louvre en 1911.
Moïse suit l’exemple d’Isaac mais se passionne exclusivement pour le XVIIIe siècle français. Pour présenter ses collections, souhaitant une demeure conforme à ses goûts, il fait démolir l’hôtel paternel en 1911 et confie à René Sergent le soin de construire une demeure à l’apparence classique et au confort moderne.
Conçu pour accueillir ses collections, l’hôtel abrite aussi ses deux enfants Nissim (1892-1917) et Béatrice (1894-1945) qui vivent avec lui après le départ de sa femme Irène Cahen d’Anvers et leur divorce en 1902.
La première guerre mondiale éclate alors que l’hôtel vient d’être achevé. Nissim, engagé dès le début du conflit devient aviateur et meurt pour la France en combat aérien en 1917. La disparition tragique de son fils détermine Moïse à léguer cet ensemble unique au MAD et à l’Etat français en souvenir de Nissim. Jusqu’à sa mort en 1935, le collectionneur se donne pour mission de parachever son œuvre de « reconstitution d’une demeure artistique du XVIIIe siècle ».
Pendant la seconde guerre mondiale, la fille de Moïse, Béatrice, son mari Léon Reinach, et leurs enfants Fanny et Bertrand disparaissent dans les camps Nazis.
La famille de Camondo est désormais éteinte.