El Colegio Mayor Peset ocupa lo que fue el palacio de los Martínez Vallejo (S. XVIII), que durante la Guerra Civil fue embajada de Suecia y después Escuela de Magisterio. En 1997 fue rehabilitado y destinado a colegio mayor.

En su interior conserva un lienzo de la muralla musulmana del siglo XI.