Im 12. Jh. wurde ein neuer Bischofspalast gleich neben der Kathedrale erbaut. Im 16. und 17. Jh. wurde er wieder auf- bzw. umgebaut, letzteres durch den Grafen Patrick, der einen weitläufigen Herrensitz schaffen und seine neue Residenz hier mit einbringen wollte. Der runde Eckturm ist ein Ergebnis der Umbauten, die Bischof Reid im 16. Jh. durchführen ließ. Die Bischofsstatue aus gelbem Sandstein (in einer roten Nische) stammt aus dem 13. Jh.