Het oudste gedeelte van het complex aan de Schotersingel dateert uit 1320 en was in eerste instantie in gebruik als leprozerie. Het complex lag in die tijd buiten de stadsmuren omdat leprapatiënten werden geweerd uit de steden. De Haarlemse leprozerie was daarnaast een officiële schouwplaats: leprapatiënten uit geheel Holland werden hier naar toe gestuurd om geschouwd te worden. Als ze werkelijk lepra hadden kregen ze een 'vuilbrief' mee die hen het recht gaf te bedelen en te wonen in een leprozerie in hun eigen woonplaats. Leprozen met een vuilbrief kregen een klepper waarin het Haarlemse stadswapen was gegraveerd.
In 1559 (na het verdwijnen van lepra) werd het huis verbouwd en ingericht tot dolhuis en werden er ' krankzinnigen' gehuisvest. Kalme patiënten konden vrij rondlopen, voor lastige patiënten werden er veertien dolcellen met een getraliede deur, een houten krib en een poepdoos ingericht. Een luikje boven in een cel zorgde voor licht en lucht.
Sinds 2005 is in het voormalige Dolhuys een museum met de naam 'Het Dolhuys' gevestigd. Een belangrijke bezienswaardigheid zijn de cellen voor de 'dollen' (uit de 16e eeuw), die nog volledig intact zijn. Het Dolhuys, nationaal museum van de psychiatrie, is een initiatief van zeven psychiatrische ziekenhuizen.
