L'any 1578, els caputxins van manifestar la seva voluntat d'establir-se en terres de Tarragona i els fou cedida l'església de la Magdalena de Valls. No obstant això, van considerar que la seva proximitat a la vila no era adequada per a la seva vida conventual. Finalment, el 1579 van inaugurar el seu convent a l’ermita de Sant Jeroni, un indret amb moltes mancances, ja que era més aviat un ermitori que no pas un convent pròpiament dit.
A Valls, des de mitjan segle XIV, existia el santuari del Lledó, vinculat a una tradició segons la qual s'hauria trobat miraculosament una imatge de la Mare de Déu en un lledoner al bosc d’en Castelló. Aquesta imatge fou portada a l’església parroquial, però, segons la llegenda, va retornar miraculosament al bosc. Entre els anys 1376 i 1434, aquest santuari esdevingué un priorat de canonges del Sant Sepulcre, dependent de Santa Anna de Barcelona. Davant les dificultats que presentava l’establiment caputxí a Sant Jeroni, l’arquebisbe de Tarragona va proposar als frares traslladar-se al santuari del Lledó, una proposta que fou acceptada i formalitzada el 1586 amb Santa Anna de Barcelona, que es reservà certs drets sobre el lloc.
Durant el segle XVII, els caputxins van emprendre importants obres de millora a la casa. Al segle XVIII, a causa del perill imminent de ruïna, es van veure obligats a realitzar noves reformes. Ja al segle XIX, el convent es va veure afectat per la Guerra del Francès i, el 1809, els frares es van veure forçats a abandonar-lo, tot i que els desperfectes ocasionats foren menors. Durant el Trienni Liberal (1821-1823), van haver d’abandonar-lo novament, i el 1835 foren exclaustrats definitivament. Posteriorment, l’edifici es convertí en Casa de Caritat, i entre els anys 1880 i 1890 es va construir un nou edifici annex a l'església. Des del 1973, el conjunt té la consideració de parròquia.
- BARRAQUER Y ROVIRALTA, Cayetano (1906). Las casas de religiosos en Cataluña durante el primer tercio del siglo XIX. Vol. 2. Barcelona: Imp. Fco. J. Altés
- BASILI DE RUBÍ (1977). Un segle de vida caputxina a Catalunya. 1564-1664. Barcelona: Caputxins de Sarrià
- FABRA I SALVAT, Ester (1990). Sant Llorenç del Bosch (les ermites de Sant Llorenç i Sant Jeroni, la muntanya de la vila i el bosch de Valls). Quaderns de Vilaniu, núm. 17
- GAVÍN, Josep M. (1980). Inventari d'esglésies. Vol. 6. Barcelona: Artestudi
- PUIGJANER Y GUAL, Francisco (1881). Historia de la Villa de Valls desde su fundación hasta nuestros días. Valls: Imp. Francisco Pellisser
- TUSET VALLET, Jordi (2001). Història del santuari de la Mare de Déu del Lledó. Valls: Institut d´estudis Vallencs