Una llegenda diu que la imatge de la Mare de Déu de la Fontcalda fou trobada per un pastor de Prat de Comte que se la va endur a casa seva, però quan va passar per la porta, aquella imatge va desaparèixer. Ho va tornar a intentar diverses vegades, sempre amb el mateix resultat, i per això ho va comunicar al rector, arribant a la conclusió que aquella imatge no volia moure's del lloc i, per tant, calia bastir una capella.
El cert és que d'aquest lloc no es disposa de gaires notícies, tot i que les dates no són precises, a finals del segle XIV o començament del següent s'hi va instal·lar una comunitat de frares trinitaris procedents, tot fa pensar, de Tortosa. Amb motiu de l'aïllament del lloc, l'assentament va tenir una existència efímera. Quan els trinitaris van deixar aquest indret, van acordar amb la vila de Gandesa que s'hi mantindria el culte a la Mare de Déu, a càrrec d'un ermità. En aquella època devia existir una església o capella, que utilitzarien els trinitaris en el seu convent. Hom té coneixement d'una capella d'època posterior a l'estada dels trinitaris, es devia bastir cap el 1544, quan hi ha constància que estava en construcció. El que restava d'aquell edifici es va enderrocar el 1979.
Una nova església es va aixecar davant per davant de l’anterior, fou començada el 1753 i el 1764 ja es va poder inaugurar i fer el trasllat de la imatge de la Mare de Déu d’un lloc a l’altre. Aquesta és l’església que encara es conserva, malgrat les destrosses sofertes durant la guerra Civil (1936), quan entre altres es va cremar el retaule barroc i la imatge de la Mare de Déu. Després es va restaurar.
- CAMÓS, Narciso (1657). Jardín de Maria plantado en el Principado de Cataluña. Barcelona: Plantada
- MANYÀ, Joan B. (1995). La Fontcalda. Notes històriques, folklòriques, teològiques i líriques. Diputació de Tarragona
- SERRA SAÚN, Joan (2007-2009). La Fontcalda. Butlletí del Centre d’Estudis de la Terra Alta, núms. 46-49