D’aquesta casa monàstica hom té poques notícies tot i que es suposa que és d’origen alt medieval. Hom sap que inicialment estava dedicada a Santo Estevo i que l’any 954, el bisbe de Lugo la va donar al seu oncle, l’abat Randino del monestir de San Adrián (a Parada do Sil). El 976 na Senior, neboda del bisbe Hermogio de Tui (i també oncle de sant Pelagi, a qui es dedicaria el lloc més endavant) va fer una important donació a aquest establiment. La comunitat que ocupava Diomondi dependria de la catedral de Lugo i no d’un altre monestir, fins i tot potser es tractaria d’una abadia secular.

Entre el 1138 i 1164 va canviar l’advocació inicial per la de San Paio. Després d’una llacuna documental, el 1138 és ja possessió d’Alfonso VII i el 1164 Fernando II el va donar a Fernando Odoariz i la seva esposa Teresa Muñiz. Tot i això el 1178 aquesta casa estava un altre cop sota els dominis de l’Església de Lugo, fet confirmat pel papa Luci III en una butlla del 1185. Malgrat això en els anys posteriors Diomondi va canviar diverses vegades de mans, a causa de la lluita entre els comtes de Lemos i el bisbat pel seu domini. Potser a mitjan del segle XIII ja no tenia comunitat, cosa que és segura el 1366. El 1379 Joan I va confirmar la possessió de Diomondi al bisbe de Lugo, a qui va pertànyer ja en endavant. El 1480 s’esmenta el lloc com “els palaus del Sr. bisbe a Diomondi” i el 1498 encara com el “monestir de Diomondi”.

Al segle XIII es va afegir una torre adossada a l’església romànica i poc després una segona, la que més endavant esdevindria el palau episcopal i després casa rectoral. Aquesta construcció podria ser hereva de l’antiga residència del bisbe Odoari de Lugo i Braga, vingut aquí a causa de la invasió sarraïna i on hom considera que hi va morir. Aquest palau episcopal es trobava en estat ruïnós i una part es va esfondrar a finals de l’any 2010.