Doe Castle genießt eine ruhige Lage auf einem Felsen über einer tiefen Bucht. Der vierstöckige Wohnturm (16. Jh.) wurde vom Meer und den heute trockengelegten Wassergräben geschützt.