Le site de Vorey est mentionné en 958 dans le cartulaire de Saint-Gilles de Chamalières (Haute-Loire) Son histoire reste mal connue en raison de la perte de documents. Outre le prieuré de Saint-Gilles, on sait également qu’il existait à Chamalières un monastère bénédictin de femmes, peut-être fondé lui aussi par l’abbaye de Saint-Chaffre du Monastier (Haute-Loire)..
Vers 950, cette communauté féminine se serait déplacée à Vorey, et l’on a des mentions de son existence en ce lieu dès le début du XIVᵉ siècle, lorsqu’elle dépendait de l’abbaye de Saint-Pierre des Chazes (Haute-Loire). Le prieuré fut supprimé à la Révolution et le site vendu. Il n’en subsiste pas de traces visibles sur son emplacement d’origine, mais le portail de l’église fut récupéré et, en 1879, remonté dans les jardins Henri Vinay, au Puy-en-Velay. Une ancienne cloche provenant également du prieuré de femmes a été conservée et se trouve aujourd’hui dans l’église Saint-Symphorien de Vorey.
- BALME. Louis (1872). Vorey et son couvent de Bénédictines. Collection des tablettes historiques du Velay. Le Puy
- BEAUNIER, Dom (1912). Abbayes et prieurés de l'ancienne France. Vol. 5. Bourges. Abbaye de Ligugé
- CUBIZOLLES, Pierre (2005). Le diocèse du Puy-en-Velay des origines à nos jours. Le Puy-en-Velay. Créer
- DU TEMS, Hugues (1775). Le clergé de France, vol. III. París: Brunet
- GOUNON, Marie-Pascale (1997). La vie religieuse féminine en Haute-Loire à la fin du XVIIIe siècle et pendant la Révolution (1789-1816). Cahiers de la Haute-Loire. Le Puy
Un portal romànic es conserva al centre de Lo Puèi de Velai