En 1347, el obispo de Aviñón estableció un cementerio en este lugar, fuera de las antiguas murallas, lugar donde fue enterrado el cardenal Pedro de Luxemburgo, fallecido en 1387 en Villeneuve-lès-Avignon, a los diecisiete años en olor a santidad. Gracias a la devoción despertada por este personaje, se levantó una capilla en el lugar de su entierro.
Debido a la devoción popular, aquel espacio había adquirido mucha relevancia, por eso, en 1392, el papa Clemente VII de Aviñón, con la participación de Carlos VI de Francia, comenzó la construcción de un monasterio y se dirigió a los celestinos para que se hicieran cargo de él. En 1393, los monjes ocuparon el sitio, levantando unas construcciones de carácter provisional, al año siguiente comenzaba la construcción del nuevo monasterio. En 1401 la obra estaba suficientemente avanzada para que se enterrara el papa Clemente VII († 1394), la iglesia se consagró en 1406, todavía inacabada. La obra de la iglesia y del mismo monasterio se prolongó durante el siglo XV, al mismo tiempo, se fueron construyendo y decorando las capillas, promovidas por personalidades diversas.
Además de Pedro de Luxemburgo, desde 1674 la iglesia también acogía las reliquias de san Benito de Aviñón (Bénézet) que la tradición considera constructor del puente que lleva su nombre y que desde 1669 se conserva parcialmente. En 1771 se suprimió la orden de los celestinos y poco después llegó la Revolución, en 1791 se fueron los últimos monjes que mantenían el lugar. Los bienes muebles se perdieron o dispersaron, los restos de los santos se trasladaron a la iglesia de Saint-Didier, de los sepulcros sólo se conservan restos. Mientras, el monasterio se convertía en un cuartel, lo que ha permitido conservar buena parte de sus estructuras. Ahora es propiedad pública.
- BESSE, J.-M. (1909). Abbayes et prieurés de l'ancienne France. Vol. 2: Provinces ecclésiastiques d’Aix, d’Arles, Avignon et Embrun. Abbaye de Ligugé
- JOUDOU, Jean Baptiste (1842). Avignon, son histoire, ses papes, ses monumens et ses environs. Avinyó: Aubanel
- JOUDOU, Jean Baptiste (1853). Essai sur l'histoire de la ville d'Avignon. Avinyó: Fischer
- LABANDE, Léon-Honoré (1903-04). La dernière fondation des papes avignonnais: le Couvent des Célestins d'Avignon. L'Art, revue hebdomadaire illustrée. Vols. 3-4. París: Librairie de l’Art