A la veille de la révolution, il existait en Franche-Comté une quarantaine de lieux qui abritaient des ermites. Très peu sont parvenus jusqu'à aujourd'hui en bon état. D'où l'intérêt du site de Conliège dans le Jura, l'un des seuls de la région qui a été entretenu et défriché par des passionnés...
En 1605 un noble protecteur fait construire une chapelle à l'endroit où des ermites auraient habités.
Le site fut occupé jusqu'à la Révolution. Durant cette période, les ermites habitant les lieux avaient également un rôle d'alerte pour prévenir d'éventuels incendies dans le village de Conliège. Puis l'Ermitage est abandonné et tombe en ruines.
Après la révolution, la chapelle devient propriété de la commune qui la loue à un ermite : Joseph Simonin.
Elle redevient ensuite privée et est menacée d'abandon. Depuis 1996 propriété d'une association, l'ermitage est sauvé de la ruine.
Le 29 juillet 1998 le site de l'Ermitage Sainte Anne est classé Monument Historique.