In 1840 volgde prins Willem II van Oranje zijn vader Willem I op als koning van Nederland en groothertog van Luxemburg. Omdat Willem II bij voorkeur verbleef in Tilburg en ook van plan was daar zo veel mogelijk te verblijven, diende zich de noodzaak van een woning, een koning waardig, nadrukkelijk aan. Tot dan toe had Willem II zich op zijn gemak gevoeld in zijn niet al te grote behuizing aan de Nieuwendijk, de huidige Bisschop Zwijsenstraat, maar die zou niet langer voldoen voor een koning. Het was tijd voor een heus paleis, en Willem heeft dat, misschien ook op basis van zijn jeugdjaren in Engeland, mede zelf ontworpen in een Engelse, romantische stijl. Op 13 augustus 1847 legde hij de eerste steen. Daarbij gebruikte hij een zilveren troffel die nog steeds bewaard wordt in het Regionaal Archief Tilburg. De eerste steen zelf is nooit teruggevonden. Wie de architect was van dit ‘Paleis-raadhuis’ zoals Tilburgers het nog steeds noemen, is niet exact bekend. De meest waarschijnlijke kandidaat is dat het ‘de architect des konings was’, Frederik Lodewijk Huijgens, van wiens hand zowel aquarellen van het ‘oude’ als het ‘nieuwe paleis’ bewaard zijn gebleven. In 1849 was de bouw van het paleis voltooid, maar Willem II heeft het nooit als woonhuis kunnen betrekken door zijn dood in datzelfde jaar.