Surplombant les plages, ces ruines appartenaient autrefois au palais et à la forteresse des évêques et archevêques du lieu. Fondé vers 1200, le château a gravement souffert des guerres d'Indépendance. La prison du château « accueillit » de nombreux acteurs de la Réforme. La tour de la Mer (Sea Tower) compte d'ailleurs le sinistre cul-de-basse-fosse dit « cachot bouteille » (fin du 14e s.), profond de 7,30 m et taillé dans la roche.