Després d’un intent el 1546 que no va reeixir, el convent de Nostra Senyora del Carme es va fundar de manera definitiva a
Olot el 1565, a iniciativa de la ciutat, que es va dirigir als carmelites de Girona per tal que s'establissin a Olot. Poc després es van comprar els terrenys. El primer prior del convent fou Joan Montaner, que procedia de Girona.
Provisionalment, mentre s'aixecava el monestir, els carmelites s'establiren a unes cases particulars. En el mateix segle XVI es va bastir l’església i a començament del segle XVII, el claustre. Consta que el 1570 ja hi havia 12 frares i tres novicis.
L’establiment es va desenvolupar amb certa normalitat, només amb els entrebancs propis de l’època, el 1695 el convent fou assaltat per les tropes franceses.
El segle XIX va portar més adversitats: la Guerra del Francès no el va afectar de manera rellevant, però el 1821 els carmelites es van veure obligats a abandonar el convent i refugiar-se a Vic. El 1823 hi retornaren, fins que el 1835 fou suprimit un altre cop, ara amb motiu de la desamortització. El lloc es va destinar a hospital, presó i escola, però cap d’aquests projectes va arribar a bon port. El 1844 es va tornar a obrir l'església i el 1892 els carmelites s'hi establiren una altra vegada. EL 1936 l'església fou incendiada i el 1939 hi pogueren retornar.
- BARRAQUER I ROVIRALTA, Gaietà (1906). Las casas de religiosos en Cataluña durante el primer tercio del siglo XIX. Vol. 1. Barcelona: F. J. Altés
- DANÉS I TORRAS, Joaquim (s.d.). Història d'Olot. Vol. XV. Els edificis religiosos. Olot: Ed. Municipals
- GAVÍN, Josep M. (1978). Inventari d'esglésies. Vol. 4. Garrotxa, Ripollès. Gtxa. 64. Barcelona: Artestudi
- RIBERA I FLORIT, Ramon (2001). El Carme d'Olot. Olot: Fund. Pere Simón
- VELASCO, BAYÓN, Balbino (1992). Historia del Carmelo español. Vol. II. Roma: Institutum Carmelitanum
El convent és al centre d'Olot