Tot i les diferents dates i versions que hom troba en referència a la fundació d’aquest monestir, el que és segura és la seva antiguitat. Hauria estat fundat pel noble Calmini (o Calmin), qui va oferir al voltant del 680 la construcció d’un monestir per acollir els monjos que vivien dispersos en aquest entorn. Hom considera aquest personatge i la seva esposa Namàdia fundadors també de l’abadia de Mozac (Puèi Domat). El primer abat del monestir fou Eudes, personatge format al monestir de Lerins (Alps Marítims), el successor fou el seu nebot, Teofred, que va governar aquest lloc fins que va morir martiritzat en una incursió sarraïna el 732, considerat per aquesta raó sant, és conegut també con sant Chaffre. A Le Monastier es conserva encara un bust reliquiari del sant, del segle XI.

El 817 Lluís el Pietós restaurà l’abadia i li va imposar la regla de benedictina segons Benet d’Aniana, a més de confirmar-li les seves possessions. A mitjan segle X la casa és reformada un altre cop amb l’arribada de monjos de Saint-Géraud d’Orlhac, des de llavors el lloc és conegut sota l’advocació de Saint-Chaffre. Malgrat una època de relaxament dels costums durant la segona meitat del segle XII, en els segles següents la casa va gaudir d’un llarg període de prosperitat, i es succeïren les ampliacions i millores tant a l’església com a les dependències annexes, una butlla del papa Alexandre III (1179) li confirmava la possessió de dues-centes trenta-cinc esglésies i capelles. El priorat de Chamalières, depenia d'aquest monestir.