El castillo fue fundado en 1160 y comprendía la ciudad amurallada, el patio y la casa militar situada entre la casa del Maestro, la Alcáçova, y el oratorio de los caballeros en una rotonda, la Charola, que se terminó en 1190. En 1420, con el castillo convertido en sede de la Orden de Cristo, el príncipe Enrique el Navegante transformó la casa militar en un convento para la rama de religiosas contemplativas que estaba introduciendo en la Orden de Cristo, y adaptó la Alcáçova en su casa solariega.
A principios del siglo XVI, el rey Manuel I, rey y gobernador de la Orden de Cristo, amplió la rotonda templaria hacia el oeste, con un nuevo edificio extramuros, que inició un discurso decorativo que celebraba los descubrimientos marítimos portugueses, la mística de la Orden de Cristo y la Corona en una grandiosa muestra de poder y fe.
La iglesia de Santa Maria dos Olivais ha sido el panteón de la Orden del Temple desde el siglo XIII y algunos maestros templarios, entre ellos Gualdim Pais, están enterrados allí.