L'histoire de demeure derrière ses hautes murailles a été mouvementée. Le fort, construit en 1026, est passé de main en main au fil du temps bien sûr. Plus récemment, la demeure était le refuge de Léo Ferré jusqu'en 1968. Nous avons pu le visiter, à l'occasion de l'anniversaire de sa mort.
Cette imposante maison, qui fût un bastion militaire de l'an mil jusqu'en 1942, a ses secrets. A la vue de générations de touristes et bretons qui fréquentent l'anse Du Guesclin, qui fit construire le fort en 1026, rares sont ceux qui ont pu franchir le mur d'enceinte posé sur l'îlot accessible à marée basse. Le fort a été laissé à l'abandon de nombreuses années suite à des querelles entre les héritiers de Léo Ferré. En 1996, une famille a pu le racheter et enfin l'entretenir.