Huset som byggdes 1847 av Claes Werner Rydström är Gislaveds näst äldsta byggnad. C Rydström öppnade här Gislaveds första affär. Hans bokhållare, Adolf Magnus Dyberg, övertog lanthandeln och därmed även huset 1860. Han hade affären på nedre våningen och bodde tillsammans med sin familj på den övre.
I början av 1900-talet blev huset privatbostad åt bankkamrer David Rydin, som var gift med Karin Gottfriedz en dotterdotter till makarna Dyberg, och hans familj. Fram till fru Johanna Dybergs död 1929, hon blev 101 år gammal,bodde dock familjen endast på övervåningen då Johanna bodde på den nedre. Efter Johannas död lät David Rydin utföra en omfattande renovering av huset.
Den ursprungliga träfasaden byttes ut mot en putsad och det var också då som tak- och väggmålningarna på nedre plan kom till. Fastigheten var i familjen Dybergs ägo i 90 år, ända fram till 1950, innan Gislaveds Missionsförsamling köpte huset till ungdoms- och församlingshem. Huset som kom att kallas "Missionsborgen" såldes 1983 då missionsförsamlingen byggde en ny kyrka.
Nu var det kommunen som köpte fastigheten till kulturhus. De lät renovera fastigheten mycket pietetsfullt med hjälp av länsmuseets personal. Bl a fick fastigheten åter träfasad och målningarna på nedre plan restaurerades.
Kulturhuset Borgen invigdes 1985. Jönköpings läns hembygdsförbund tilldelade 1986 års hederspris - "Hedersenen" - till Gislaveds kommun för en kulturhistorisk väl genomförd restaurering av Kulturhuset Borgen.
2013 övertog Gislaveds konsthall huset, Utställningsverksamheten bedrevs på husets andra våning medan plan 1 tjänade som mötesrum, läsrum och en bokningsbar yta för utställningar.
Från år 2018 har hela byggnaden på Köpmangatan 12 tagits i anspråk av utställningsverksamheten.