Il a été édifié en 1868 par Paul Abadie, l'architecte du Sacré-Coeur de Paris, dans un style gothico-Renaissance, à l'emplacement du château des comtes d'Angoulême. Du château d'origine ne subsiste que la tour polygonale (ancien donjon des 13e et 14e s.), du haut de laquelle s'offre un panorama sur les toits de la cité, et une tour ronde du 15e s. où serait née Marguerite d'Angoulême.