El proyecto del Castillo fue naturalmente asociado al de la construcción de la Torre principal, que se dice haber sido la obra de tres reinados, el de Alfonso IV, el de D. Pedro y el de D. Fernando, que la llamó “Torre de las Tres Coronas”, simbolizadas en el remate de mármol del ángulo de la terraza superior.

Algunos años más tarde, D. Dinis ordenó la construcción de su residencia y, aproximadamente en 1281, envió embajadores a Aragón, con la misión de pedir en casamiento a la Infanta Dª Isabel, que fue más adelante Reina y Santa.

A finales de junio de 1336, vino Isabel a Estremoz, afanada en el mantenimiento de la armonía familiar y de la paz del reino. Cansada por dos largos viajes (Compostela-Coimbra/Coimbra-Estremoz), por el peso de los años y el calor sofocante, enfermó gravemente. A pesar de los cuidados de su hijo y de su nuera, de la sabiduría de los médicos y de la devoción de los frailes de S. Francisco, el mal no cedió y la Reina falleció el 4 de julio.

Su entrada en Estremoz dio origen a varias leyendas, según las cuales dos pajaritos recogían con sus picos los ovillos que se le caían cuando bordaba. Desde sus aposentos del Castillo, solía seguir la misa de la plaza baja del monasterio de S. Francisco.

El Palacio y el Castillo reflejaban la angustia, la inquietud y la desesperación de sus últimos cinco días de vida, y fueron testigos de los funerales de los días siguientes, que se celebraron dentro del respeto riguroso de las disposiciones testamentarias. “Casamiento y mortaja, en el cielo se cuajan”, diría el pueblo de Estremoz al despedirse de ella.

Algunos años más tarde, su hijo partió de Estremoz a la gloriosa Batalla del Salado que puso fin al poderío árabe en la Península, y allí regresó después de la hazaña. Como testimonio, nos queda la bandera de armas en el Portal del Palacio de Audiencias.

También el nieto de la Reina Santa, amante de la linda Inés, escogió este remanso para pasar su mal de amores. D. Fernando y Dª Leonor Teles escogieron el Palacio de Estremoz como escondrijo seguro para el Conde de Andeiro, que, por razones políticas, estaba comprometido con Castilla e Inglaterra.

El Palacio de Estremoz recibió asimismo a Leonor Teles, cuando su hija, Dª Beatriz, se casó con D. Juan I, rey de Castilla.