Il castello fu fondato nel 1160 e comprendeva il borgo murato, il cortile e la casa militare situata tra la casa del Maestro, l'Alcáçova, e l'oratorio dei cavalieri, in una rotonda, la Charola, completata nel 1190. Nel 1420, con il castello poi sede dell'Ordine di Cristo, l'Infante D. Henrique, il Navigatore, trasformò la casa militare in un convento, per il ramo di religiosi contemplativi che introdusse nell'Ordine di Cristo, e adattò l'Alcáçova a sua casa padronale.
All'inizio del XVI secolo, D. Manuel I, Re e Governatore dell'Ordine di Cristo, estese la Rotonda dei Templari ad ovest, con una nuova costruzione fuori le mura, che iniziò un discorso decorativo che celebrava le scoperte marittime portoghesi, la mistica dell'Ordine di Cristo e della Corona in una grandiosa manifestazione di potere e di fede.
La chiesa di Santa Maria dos Olivais è stata un pantheon dell'Ordine del Tempio dal XIII secolo e vi sono sepolti alcuni maestri templari, tra cui D. Gualdim Pais.