En 1582, l'ancien prévôt de la ville, sir Thomas MacLellan, utilisa les pierres d'un proche monastère en ruine pour construire sa résidence urbaine. Depuis les celliers et la cuisine du rez-de-chaussée, un escalier spacieux aux volées droites mène à la grande salle où une cheminée massive est équipée d'un judas baptisé « l'oreille du châtelain ». Depuis 1752, le château n'a plus de toit.