El lugar estratégico donde se levanta el antiguo convento de Santa Fe, divisando el horizonte a las puertas de la ciudadela, lo hizo ser enclave codiciado desde la prehistoria y a lo largo de los prolijos períodos históricos vividos protagónicamente por la ciudad. Puede decirse que Santa Fe es síntesis de su diversidad y riqueza cultural. Asentamiento de la primera monarquía goda, la base estructural de este convento se inicia con la construcción de un palacio en época de Abd al-Rahman III adosado a la muralla emiral que circundaba la ciudad, siglos IX-X. El palacio fue acrecentado y enriquecido en el siglo XI por el rey de la taifa de Toledo, al Ma´mum, recordado por su majestuosidad en las crónicas históricas.

Recuperado del dominio andalusí, será residencia de monarcas castellanos. Entre otros, aquí nació y vivió Alfonso X el Sabio. Con posterioridad en el lugar se asentó la Orden de Calatrava dejando una fuerte impronta arquitectónica en el conjunto (los mencionados ábside de Santa Fe y la sala de arcos polilobulados). En la segunda mitad del siglo XV, por orden de Isabel la Católica, se instala la Orden Concepcionista, constituyendo la casa madre de esta compañía fundada por la santa Beatriz de Silva, quien residió en el convento y promovió el delicado alfarje de madera policromada que cubre las salas 1 y -1 del museo. Esta dependencia forma parte del complejo conventual construido a continuación por la Orden de las Comendadoras de Santiago, toda vez que llegaron a Santa Fe en el año 1503. Son las comendadoras las promotoras del convento tal y como hoy se conoce, construido alrededor de un claustro, aunque las obras se dilataron hasta el siglo XVIII, año en que se levanta la escalera barroca. A consecuencia de la desamortización, las santiaguesas abandonan las dependencias en 1855 y en 1873 entra la Comunidad de Ursulinas de la Sagrada Familia de Loreto, convirtiendo el edificio en colegio, que lo sería hasta su cierre en 1973. En este año, el histórico inmueble es adquirido por el gobierno castellano-manchego. Se sucede un tiempo de total abandono y, en 2003, es rehabilitado por el Instituto de Patrimonio Cultural de España (IPCE).

Convertirlo hoy en museo de la Colección Roberto Polo. Centro de Arte Moderno y Contemporáneo de Castilla-La Mancha es escribir una nueva página en la historia de la ciudad, la segunda más visitada de España; hoy que el arte y sus templos ocupan el lugar de la religión y su culto en la geografía universal, Toledo recobra la vanguardia de la contemporaneidad.