Le premier château fut bâti par le fils de Guillaume le Conquérant, Robert Courteheuse, à la fin du 11e s. Le donjon est tout ce qui reste du château qui lui succéda au 12e s. Du sommet de cette énorme bâtisse, on embrasse toute la ville, la rivière et la campagne dans le lointain. En 1848, on n'hésita pas à faire traverser l'enceinte du château par le réseau de voies ferrées qui dessert la gare centrale aux multiples arches coupant ainsi le donjon de la pittoresque Black Gate.