L’immeuble connait une première campagne de travaux à la fin du XVIIe siècle, à l’initiative du Duc de la Feuillade (1673-1725) et sur les plans de l’architecte Jules Hardouin-Mansart (1646-1708). De cette phase de travaux inachevée subsistent deux avant-corps cylindriques, portés par deux trompes en encorbellement sur la partie basse de l’immeuble. L’immeuble a ensuite été profondément remanié lors d’une seconde campagne de travaux, conduite à partir de 1733 par la comtesse de Jaucourt et son architecte Pierre Desmaisons (1711-1795), dont on conserve l’ensemble des dessins de projet. Les façades sur rue, y compris les ferronneries en fer forgé, sont inscrits au titre des Monuments historiques depuis 1928.
L’immeuble, édifié en 1777 à l’angle des rues La Vrillière et Croix-des-Petits-Champs, a bénéficié en 2024 d’une opération globale de restauration de son clos-couvert.