Sa construction, en 1784, entraîna la disparition de la maison de Mme de Warens (1700-1762), protectrice et maîtresse de Jean-Jacques Rousseau. Les admirateurs de l'écrivain ont fait placer dans la cour, lieu de leur première rencontre, un buste de Jean-Jacques et le fameux « balustre d'or » qu'il avait souhaité.