Al llarg de la seua història ha sigut Acadèmia Militar de Cadets (1819-1826), Casa de Beneficiencia, magatzem de provisions de l'exèrcit i Hospital Militar (durant la Guerra Civil). Des de 1946 és Museu de Belles Arts.