Segons una tradició, durant una tala d’arbres al bosc d’en Castelló es va trobar, miraculosament, una imatge de la Mare de Déu dins d’un lledoner. La llegenda explica que aquesta imatge havia estat amagada arran de l’ocupació sarraïna. Tot i ser traslladada a l’església parroquial, de manera sobrenatural va tornar al bosc. Arran d’aquesta troballa, es construí una capella al costat del lledoner miraculós, les obres començaren l’any 1367.
Davant la creixent devoció que despertava la Mare de Déu, el 1376 es van cedir els drets sobre l’ermita del Lledó als canonges del Sant Sepulcre de Santa Anna de Barcelona, d’on passaria a dependre. Posteriorment, el 1396, es va instaurar un priorat d’aquest orde a la capella. No obstant això, probablement a causa de les dificultats per mantenir el projecte, el 1434 els canonges abandonaren la casa i en deixaren la custòdia. A partir de llavors, la gestió del santuari recauria en un administrador que va mantenir desacords i plets amb Santa Anna de Barcelona sobre els drets del Sant Sepulcre al Lledó. Malgrat aquesta situació inestable, el santuari va continuar gaudint d’una gran devoció popular.
L’any 1578, els caputxins van manifestar la seva voluntat d’establir-se a les terres de Tarragona i els fou cedida l’església de la Magdalena de Valls. No obstant això, en van rebutjar l’emplaçament per la seva proximitat a la vila. Finalment, el 1579 van establir el seu monestir a l’ermita de Sant Jeroni, un lloc amb moltes mancances i més aviat un ermitori. Per aquest motiu, l'arquebisbe de Tarragona els va proposar traslladar-se al santuari del Lledó, proposta que fou acceptada i formalitzada el 1586 amb Santa Anna de Barcelona, que es va reservar certs drets sobre el lloc. Així, el Lledó es convertí en el convent dels Caputxins de Valls.
- BARRAQUER Y ROVIRALTA, Cayetano (1906). Las casas de religiosos en Cataluña durante el primer tercio del siglo XIX. Vol. 1. Barcelona: Imp. Fco. J. Altés
- BASILI DE RUBÍ (1977). Un segle de vida caputxina a Catalunya. 1564-1664. Barcelona: Caputxins de Sarrià
- GAVÍN, Josep M. (1980). Inventari d'esglésies. Vol. 6. Barcelona: Artestudi
- PUIGJANER Y GUAL, Francisco (1881). Historia de la Villa de Valls desde su fundación hasta nuestros días. Valls: Imp. Francisco Pellisser
- TUSET VALLET, Jordi (2001). Història del santuari de la Mare de Déu del Lledó. Valls: Institut d´estudis Vallencs