Este edificio, del gremio de los sederos, data del siglo XV. Fue restaurado en los siglos XVI, XVII y, sobre todo, en el siglo XVIII. En 1981 fue declarado monumento histórico-artístico.

El gremio dels Velluters (terciopeleros) se creó en el siglo XV, en el año 1474, debido a la importancia que la seda había adquirido en Valencia. En 1686 Carlos II le concede el título de “Colegio de artistas” a este gremio, y pasa a denominarse Colegio del Arte Mayor de la Seda.