La tradició diu que sant Gérard, bisbe de Mâcon entre el 886 i 926, es va retirar com eremita en aquest lloc després de deixar el càrrec, el 927. Gérard va morir l’any 958 i algunes fonts indiquen que fou enterrat en aquest lloc, un espai que ja havia estat ocupat en època gal·loromana. Hom diu també que seria el fundador d’un monestir en el mateix indret, del que hom té notícies des del 1084 en qualitat de priorat depenent de l’abadia d’Ambronay (Ain). El lloc també tenia funcions parroquials i estava dedicat a sant Pere. Jean de Loriol fou el darrer prior de la casa que, al menys, des del 1319 no tenia comunitat monàstica però mantenia el títol. L’any 1505 Loriol va unir el priorat i parròquia a l’església de Notre-Dame de Bourg (Bourg-en-Bresse) facilitant així la fundació del nou monestir.

El renom de Brou neix del monestir que es va aixecar més endavant, la fundació del qual té l’origen en una promesa efectuada per la duquessa de Savoia Margarida de Borbó (1438-1483) després d’un greu accident de cacera patit el 1480 pel seu marit Felip II de Savoia (1438-1497) aquesta prometença l’obligava a la construcció d’un monestir benedictí a Brou. La mort de la duquessa no va permetre el compliment de la promesa però la mort del seu fill, el duc Filibert II de Savoia (1480-1504) va provocar que la seva vídua, Margarida d'Àustria (1480-1530) s’encarregués de la seva realització. Per això, d’acord amb el prior Jean de Loriol, el 1505 va aconseguir del papa Juli II un butlla autoritzant el trasllat de la parròquia de Brou a Notre-Dame de Bourg, l’any següent el mateix papa va autoritzar que el nou monestir fos ocupat per frares de l’orde de Sant Agustí, en lloc de benedictins, i que es posés sota l’advocació de sant Nicolau de Tolentino.