Het museum is sinds eind 2014 gevestigd in het zogenaamde ‘Arent thoe Boecophuis’. Het huis is genoemd naar de architect van de Elburger binnenstad en eerste bewoner van het pand.

In 1392 droeg de hertog van Gelre zijn rentmeester Arent thoe Boecop op om de langgerekte stedelijke nederzetting Elburg te vervangen door een weerbare vestingstad. Zo kon hij beter gebruik maken van de strategische ligging van de stad op de grens met het Oversticht (nu Overijssel).

Omdat het vlakbij gelegen kasteel van de hertog meteen was afgebroken, liet Thoe Boecop binnen de stadsmuren een versterkt woonhuis voor de hertog bouwen. De hertog zou er geen gebruik van maken, want hij deed het bij zijn inspectie van de nieuwe stad in 1396 al meteen cadeau aan zijn rentmeester. Ook die zou er maar heel kort van kunnen genieten, want hij overleed in 1397. De zoon van Thoe Boecop verkocht het stadskasteel in 1400 aan de stad Elburg, die het vervolgens tot 1954 als raadhuis in gebruik heeft gehad. Na diverse andere bestemmingen sinds 1954 biedt het sinds 2013 onderdak aan het Nationaal Orgelmuseum.

Het Thoe Boecophuis is gebouwd als een vrijstaand stadskasteel met uitgekraagde hoektorentjes, verbonden door een weergang. Deze waren oorspronkelijk voorzien van kantelen ‘op de oud-Franse manier’, zoals men het omschreef. De ingang zat aanvankelijk opzij, boven de huidige keldertoegang. Een buitentrap leidde naar de deur van de grote zaal op de eerste verdieping. Na de aanbouw opzij van een keukengebouw werden deze trapopgang en de toegangsdeur verplaatst naar de oorspronkelijke blinde voorgevel, die toen ook maar meteen van vensters werd voorzien.

De huidige gevel is het resultaat van een verbouwing in 1773 en de restauratie in 1959 door de architect C.W. Royaards.