L’origen del monestir està relacionat amb la miraculosa troballa en aquest lloc d’una imatge de la Mare de Déu. Aquell preuat objecte es venerava en la cova on s’havia trobat i a causa de la devoció que va despertar, hom van anar edificant algunes dependències pel servei del seu culte. L’any 1147 el lloc fou donat als cistercencs de Sacramenia (Segòvia) potser amb la finalitat que s’hi establissin, cosa que no sembla que s’arribés a fer mai, potser els cistercencs únicament hi mantingueren una granja, entitat força comuna en aquest orde.

L’any 1401, quan tot fa pensar que els cistercencs ja no tenien cap relació amb el lloc, la casa de la Armedilla fou lliurada per Fernando de Antequera als jerònims de la Mejorada d’Olmedo (Valladolid). El 1402 els jerònims en van prendre possessió i el 1405 el papa Benet XIII va autoritzar la construcció de la nova casa. Aquest orde va aixecar el nou monestir sobre les antigues construccions i el 1552 es va traslladar la imatge de la Mare de Déu a la nova església. Va gaudir de la protecció dels ducs d’Alburquerque, que hi van aixecar un palau. El monestir va subsistir fins la desamortització, quan va quedar abandonat i el seu patrimoni es va perdre o dispersar. La imatge romànica de la Mare de Déu de la Armedilla encara es conserva a Cogeces del Monte. La portada de l’església es va traslladar a una casa senyorial de Valladolid.