A pesar de las diferentes fechas y versiones que se encuentran en referencia a la fundación de este monasterio, lo que es seguro es su antigüedad. Habría sido fundado por el noble Calminio (o Calmin), quien ofreció alrededor del 680 la construcción de un monasterio para acoger a los monjes que vivían dispersos en este entorno. Se considera este personaje y su esposa Namàdia fundadores también de la abadía de Mozac (Puy Domat). El primer abad del monasterio fue Eudes, personaje formado en el monasterio de Lérins (Alpes Marítimos), el sucesor fue su sobrino, Teofredo, que gobernó este lugar hasta que murió martirizado en una incursión sarracena el 732, considerado santo por esta razón, es conocido también con san Chaffre. En Le Monastier se conserva todavía un busto relicario suyo, del siglo XI.

El 817 Luis el Piadoso restauró la abadía y le impuso la regla de benedictina según Benito de Aniane, además de confirmarle sus posesiones. A mediados del siglo X la casa fue reformada de nuevo con la llegada de monjes de Saint-Géraud de Aurillac, desde entonces el lugar es conocido bajo la advocación de Saint-Chaffre. A pesar de una época de relajamiento de las costumbres durante la segunda mitad del siglo XII, en los siglos siguientes la casa disfrutó de un largo período de prosperidad, y se sucedieron las ampliaciones y mejoras tanto en la iglesia como en las dependencias anexas, una bula del papa Alejandro III (1179) le confirmaba la posesión de doscientas treinta y cinco iglesias y capillas. El priorato de Chamalières, dependía de este monasterio.