Ubicado en el denominado "Palau del Batlle", edificio del s. XV que fue residencia del Administrador Real y más tarde sede del Representante de la Orden de Montesa.
Su arquitectura pertenece al gótico civil valenciano, con diversas adaptaciones posteriores. En 1971 el inmueble fue adquirido por la Diputación de Castellón y cesdio al municipio de Vilafamés para albergar la sede del Museo.
Alberga artistas como Joan Miró, Rafael Canogar, jos´Snleón, Equipo Realidad, Equipo Crónica, Juan Genovés, Modest Cuixart, Lucio Muñoz, emilio Vedova o Eusebio Sempere, entre otros.