La tradición dice que san Gérard, obispo de Mâcon entre el 886 y 926, se retiró como eremita en este lugar después de dejar el cargo, el 927. Gérard murió el año 958 y algunas fuentes indican que fue enterrado en este lugar, un espacio que ya había sido ocupado en época galorromana. Se dice también que sería el fundador de un monasterio en el mismo lugar, del que se tienen noticias desde el 1084 en calidad de priorato dependiente de la abadía de Ambronay (Ain). El lugar también tenía funciones parroquiales y estaba dedicado a san Pedro. Jean de Loriol fue el último prior de la casa que, al menos, desde el 1319 no tenía comunidad monástica pero mantenía el título. El 1505 Loriol unió el priorato y parroquia a la iglesia de Notre-Dame de Bourg (Bourg-en-Bresse) facilitando así la fundación del nuevo monasterio.

La fama de Brou nace del monasterio que se levantó más adelante, cuya fundación tiene su origen en una promesa efectuada por la duquesa de Saboya Margarita de Borbón (1438-1483) después de un grave accidente de cacería sufrido el 1480 por su eposo Felipe II de Saboya (1438-1497) esta promesa la obligaba a la construcción de un monasterio benedictino en Brou. La muerte de la duquesa no permitió el cumplimiento de la promesa pero la muerte de su hijo, el duque Filiberto II de Saboya (1480-1504) provocó que la viuda de éste, Margarita de Austria (1480-1530) se encargara de su realización. Por ello, de acuerdo con el prior Jean de Loriol, en 1505 consiguió del Papa Julio II un bula autorizando el traslado de la parroquia de Brou a Notre-Dame de Bourg, el año siguiente el mismo papa autorizó que el nuevo monasterio fuera ocupado por frailes de la orden de San Agustín, en lugar de benedictinos, y que se pusiera bajo la advocación de San Nicolás de Tolentino.