La tour des Pénitents est un vestige de l'enceinte du 12e s. qui a cédé la place aux boulevards. Devenue clocher de la chapelle du même nom au 17e s., elle échappa ainsi à la destruction des remparts en 1768.