El priorat benedictí de Saint-Pierre de Varen (Varenh) fou fundat al segle X des de l'abadia d'Orlhac (Aurillac, Cantal, Alvèrnia), segons la tradició, el mateix Guerau d'Orlhac († 909) hi va intervenir. La casa s'esmenta documentalment des de l'any 972, i la seva relació amb Orlhac, no és explícita fins al 1289. A tocar de l'església monàstica, dedicada a sant Pere, n'hi havia una segona, la de Saint-Serge, parroquial, on es conservaven i veneraven les relíquies del sant titular.
Amb la guerra dels Cent Anys, es va clausurar la porta principal de l'església per motius de defensa i es va eliminar l'absis, potser fou llavors que es va perdre el claustre, reemplaçat per uns arcbotants molt aparents que suporten els murs de l'església. El priorat només depenia de l'abadia mare i no estava sotmès a la diòcesi, aquesta situació va ajudar a mantenir la seva influència i poder, va arribar a aplegar un ampli senyoriu, al segle XV va bastir un castell-palau on residien els priors. El 1561 el priorat fou secularitzat i va quedar a càrrec d'una comunitat de dotze canonges depenent del bisbat de Rodés. Varen era el centre d'un deganat amb la residència del titular, comendatari.
El lloc va patir l’assalt dels hugonots durant les guerres de Religió (1573 i 1581). El 1768 es va esfondrar l’església de Saint-Serge traslladant el culte a Saint-Pierre, el 1812 les seves restes es van retirar. El capítol de canonges va desaparèixer amb la Revolució, i el 1793 el conjunt prioral fou venut. Del priorat en resta la seva església amb funcions parroquials, és de finals del segle XI, amb algunes modificacions. És de tres naus, sense transsepte ni absis central, que es va perdre. A l'interior es conserva una important sèrie de capitells, a més d’una pica beneitera antiga, del segle VIII.
- DESHOULIÈRES, M. (1938). Varen. Congrès Archéologique de France. 100e session. Figeac, Cahors et Rodez. París: Picard
- DURLIAT, Marcel (1978). Haut-Languedoc roman. Zodiaque
- FAU, Jean-Claude (1971). Les Chapiteaux de Varen. Bulletin de la Société archéologique de Tarn-et-Garonne, vol. 96
- PRADALIER-SCHLUMBERGER, Michèle (2014). Varen, église Saint-Pierre. Congrès Archéologique de France. Monuments de Tarn-et-Garonne. París: S. F. Archéologie