A lo largo de su historia este edificio ha sido Academia Militar de Cadetes (1819-1826), Casa de Beneficencia, almacén de provisiones para el ejército y Hospital Militar (durante la Guerra Civil). Desde 1946 es Museo de Bellas Artes.