El 1347, el bisbe d’Avinyó va establir un cementiri en aquest indret, fora de les antigues muralles, lloc on va ser enterrat el cardenal Pere de Luxemburg, mort el 1387 a Vilanova d’Avinyó (Villeneuve-lès-Avignon), als disset anys en olor de santedat. Gràcies a la devoció despertada per aquest personatge, es va aixecar una capella en el lloc del seu enterrament.
A causa de la devoció popular, l’indret havia adquirit molta rellevància, per això, el 1392, el papa Climent VII d’Avinyó, amb la participació de Carles VI de França, va començar la construcció d’un monestir i es va dirigir als celestins perquè se’n fessin càrrec. El 1393, els monjos van ocupar el lloc, aixecant unes construccions de caràcter provisional, l’any següent començava la construcció del nou monestir. El 1401 l’obra estava prou avançada perquè s’hi enterrés el papa Climent VII († 1394), l’església es va consagrar el 1406, encara inacabada. L’obra de l’església i del mateix monestir es va allargar durant el segle XV, al mateix temps, es van anar bastint i decorant les capelles, promogudes per personalitats diverses.
A més de Pere de Luxemburg, des del 1674 l’església també acollia les relíquies de sant Benet d’Avinyó (Bénézet) que la tradició el considera constructor del pont que porta el seu nom i que des del 1669 es conserva parcialment. El 1771 es va suprimir l’orde dels celestins i poc després va arribar la Revolució, el 1791 van marxar els darrers monjos que mantenien el lloc. Els béns mobles es van perdre o dispersar, les restes dels sants es van traslladar a l’església de Saint-Didier, dels sepulcres només es conserven restes. Mentrestant, el monestir esdevenia una caserna, el que ha pogut conservar bona part de les seves estructures. Ara és de propietat pública.
- BESSE, J.-M. (1909). Abbayes et prieurés de l'ancienne France. Vol. 2: Provinces ecclésiastiques d’Aix, d’Arles, Avignon et Embrun. Abbaye de Ligugé
- JOUDOU, Jean Baptiste (1842). Avignon, son histoire, ses papes, ses monumens et ses environs. Avinyó: Aubanel
- JOUDOU, Jean Baptiste (1853). Essai sur l'histoire de la ville d'Avignon. Avinyó: Fischer
- LABANDE, Léon-Honoré (1903-04). La dernière fondation des papes avignonnais: le Couvent des Célestins d'Avignon. L'Art, revue hebdomadaire illustrée. Vols. 3-4. París: Librairie de l’Art