Oorspronkelijk heette het poorthuis en was bestemd voor vergaderingen en feesten, naar analogie van de Poortersloge in Brugge. Hiernaast bevond zich het schepenhuis.
In 1393 woedde er een brand in beide gebouwen, waarna het schepenhuis werd hersteld, maar het poorthuis pas in 1423. De schepenzaal werd toen ook naar het poorthuis overgebracht.
Het Schepenhuis is nog in gebruik geweest als waag en werd in 1798 gesloopt. Het poorthuis werd gerestaureerd van 1894-1904, doch verwoest tijdens de geallieerde bombardementen van 11 oktober 1944. Hierbij ging het stadsarchief en een groot aantal kunstschatten verloren. Het belfort werd herbouwd van 1956-1960 als enige van de historische gebouwen in het centrum van Sluis. Ook de klokkenman Jantje van Sluis werd weer op de toren geplaatst.
