Une chapelle y fut construite en 1421, elle était couverte de chaume et brûla en 1540. Il n'en reste que le bénitier de granit situé près de la porte Ouest. En 1543, le Comte de Bourgblanc, riche châtelain, construisit la chapelle actuelle.

Le pardon de Notre Dame de Clérin a lieu dans le mois de juin. Il attirait autrefois une affluence énorme de pèlerins qui s'y rendaient venant des quatre coins de Bretagne. Ils demandaient à la sainte patronne de la chapelle la guérison des maladies d'yeux et des ulcères de toutes sortes.

Derrière la chapelle, se trouvent 5 sources qui en font sa particularité