Una tradició esmenta que en el curs d’una tala d’arbres al bosc d’en Castelló es va trobar miraculosament, en un lledoner, una imatge de la Mare de Déu. Aquella imatge, que la llegenda considera que s'havia amagat amb motiu de l’ocupació sarraïna, fou portada a l’església parroquial, però de manera sobrenatural va tornar al bosc. En la època de la troballa s'hauria aixecat una capella al costat del lledoner miraculós, les obres de la construcció començaren el 1367.
Davant la creixent devoció que despertava la Mare de Déu, el 1376 foren cedits els drets sobre l’ermita del Lledó als canonges del Sant Sepulcre de Santa Anna de Barcelona, d’on passaria a dependre. Més tard, el 1396, es va instaurar un priorat d’aquest orde a la capella. Probablement a causa de les deficiències de la casa per portar endavant el projecte, el 1434 el deixaren, així com la seva custòdia. A partir d’aquell moment es va fer càrrec del santuari un administrador que va tenir diferències i plets amb Santa Anna de Barcelona relatius als drets del Sant Sepulcre pel que fa al Lledó, tot i aquesta inestable situació, el santuari va continuar gaudint de la devoció popular.
El 1578 els caputxins van manifestar la seva voluntat d’establir-se a les terres de Tarragona i els fou cedida l’església de la Magdalena de Valls, que no els va agradar a causa de la seva proximitat a la vila. Finalment, el 1579 van establir el seu monestir a l’ermita de Sant Jeroni, un lloc amb moltes mancances, més aviat un ermitori, a causa d’això, l'arquebisbe de Tarragona els va proposar d’anar al santuari del Lledó, cosa que fou acceptada i formalitzada el 1586 amb Santa Anna de Barcelona, reservant-se aquests darrers certs drets sobre el lloc. El Lledó va esdevenir el convent dels Caputxins de Valls.
- BARRAQUER Y ROVIRALTA, Cayetano (1906). Las casas de religiosos en Cataluña durante el primer tercio del siglo XIX. Vol. 1. Barcelona: Imp. Fco. J. Altés
- BASILI DE RUBÍ (1977). Un segle de vida caputxina a Catalunya. 1564-1664. Barcelona: Caputxins de Sarrià
- GAVÍN, Josep M. (1980). Inventari d'esglésies. Vol. 6. Barcelona: Artestudi
- PUIGJANER Y GUAL, Francisco (1881). Historia de la Villa de Valls desde su fundación hasta nuestros días. Valls: Imp. Francisco Pellisser
- TUSET VALLET, Jordi (2001). Història del santuari de la Mare de Déu del Lledó. Valls: Institut d´estudis Vallencs