El castell de Torres es troba esmentat per primer cop l'any 1133, abans de la conquesta de Lleida. Després de passar per diverses mans, el 1272 fou venut a Jaume Surroca, bisbe de Lleida, el qual l'any 1282 va donar la vila i castell de Torres als templers de Gardeny que hi van establir la sotscomanda de Torres, depenent de Gardeny.
A començament del segle XIV, Torres va passar a dependre de Miravet, fins que, amb la desaparició de l'orde del Temple, el 1317 el lloc va passar als hospitalers que van administrar el lloc. El 1377 l'orde de l'Hospital va fortificar el castell, l'any 1660 aquest es trobava en mal estat de conservació i el 1894 s'hi havia establert una presó. Hi ha restes de fortificacions medievals integrades en habitatges, es conserven altres elements com ara un escut de l'època del comanador Guillem Brondó, amb la data de 1673 i una porta amb una creu i la data de 1749. Les possessions de Torres també incloïen els indrets de Remolins, Gebut i Utxesa.
Escut del comanador Guillem Brondó (1683)
Dovella amb la creu i datada el 1749
Plafó del 150 aniversari de la supressió de la comanda
- CATALÀ, Pere (1979). Els castells catalans. Vol. VI-2a part. Barcelona: R. Dalmau Ed.
- FUGUET SANS, Joan (2000). Templers i hospitalers III. Barcelona: Rafael Dalmau Editor
- GONZÁLEZ, Joan-Ramon (1997). Castell de Torres. Catalunya romànica. Vol. XXIV. El Segrià, Garrigues, Pla d'Urgell, Segarra, Urgell. Barcelona: Enciclopèdia Catalana
Hi ha restes de la comanda en diferents edificis da la població