De la cel·la de Sant Silvestre es tenen notícies des del segle IX, com entitat depenent de Sant Esteve de Banyoles, juntament amb Sant Martí de Vallmala. Un diploma de Lluís el Tartamut de l’any 877 i una butlla papal de 1017 l’esmenten com a propietat d’aquell monestir.
Segurament la cel·la s’hauria fundat a partir de l’any 854, data en que aquest lloc fou lliurat al monestir de Banyoles. El 1029 es va consagrar una nova església i segurament llavors va prendre funcions parroquials al mateix temps que perdia la condició monàstica. Es tracta d'un edifici de nau única, rectangular, amb un absis semicircular a llevant i un campanar d'espadanya escapçat a ponent. Cal destacar també l’evident aparell d’opus spicatum, a l'absis. Aquesta construcció es podria datar des del segle X en les parts més antigues, fins el segle XII o XIII. El 1983 van acabar les obres de restauració de l’edifici.
- BADIA I HOMS, Joan (1977). Aportacions a l'estudi del pre-romànic empordanès. III. Revista de Girona. Núm. 78
- BADIA I HOMS, Joan (1985). L’arquitectura medieval de l’Empordà. Vol. II-A. Girona: Diputació de Girona
- BADIA I HOMS, Joan (1990). Catalunya romànica. Vol. IX. L'Empordà II. Barcelona: Enciclopèdia Catalana
- BADIA I HOMS, Joan i altres (2005). Llibre de Sant Silvestre. Figueres: Brau
- COSTA BADIA, Xavier (2019). Paisatges monàstics. El monacat alt-medieval als comtats catalans (segles IX-X). Tesi doctoral. Universitat de Barcelona
- GAVÍN, Josep M. (1983). Inventari d’esglésies. Vol. 13, Alt Empordà. Barcelona: Arxiu Gavín
- GRAU, Dolors (1995). Bella pedra vella. Girona: Diputació de Girona
- MONSALVATJE Y FOSSAS, Francisco (1910). Nomenclator histórico de las iglesias parroquiales... Olot: J. Bonet