Politiquement opposé à Louis-Napoléon Bonaparte, Victor Hugo connaitra l’exil. Poursuivi par la police de Louis-Napoléon Bonaparte après le coup d'Etat du 2 décembre 1851 auquel il s'était publiquement opposé, Hugo s'est enfui avec sa famille à Bruxelles (1851-1852), puis pour l'île de Jersey (1852-1855) et enfin, à l'île de Guernesey (1855-1870) où il demeura jusqu'à son retour d'exil.
Il rentre en France le 25 septembre 1871. « Nous arrivons, note-t-il, à Paris à 6 heures et nous allons à l’appartement, 66, rue de la Rochefoucauld. Les tapissières de Bruxelles ne sont pas encore arrivées. Nous allons descendre, rue Laffitte, hôtel Byron, en attendant. » Le 9 octobre, Victor Hugo emménage enfin, tandis que Juliette Drouet (De son vrai nom Julienne Joséphine Gauvain (1806-1883) est une actrice française qui a été la principale maîtresse de Victor Hugo pendant près de cinquante ans) s’installe de son côté, au 55 rue Pigalle, quasiment en face de son cher « Toto ».
Le 24 mai 1872, Verlaine y est invité à dîner, mais il arrive en trainant la patte, blessé de deux coups de couteau que Rimbaud vient de lui porter, dans un troquet de la place Pigalle, le Rat Mort.
La rue de la Rochefoucauld se situe dans le IXème arrondissement de Paris et du trottoir devant la maison du « Toto » on peut apercevoir au loin, se profiler le Sacré Cœur.