Het huis werd eigendom van hertog Karel van Gelre in 1518. Na de dood van de hertog werd het huis in 1539 verkocht aan Maarten van Rossum, de veldheer van de hertog. Het huis werd in 1543 verbouwd en kreeg toen de officiële naam: "Huis van Maarten van Rossum". Na de dood van Van Rossum verkochten de erfgenamen het pand in 1575, waarna het door verschillende eigenaars werd bewoond.
De gemeente Arnhem kocht het Duivelshuis in 1828 ter vervanging van het vervallen stadhuis op de Markt. Twee jaar later werd het stadhuis na een renovatie in gebruik genomen. De gewoonte was dat iedere aftredende burgemeester een eigen glas in loodraam liet vervaardigen.
In 1898 werd onder leiding van architect Constantijn Muysken uit Amsterdam het pand weer in historische stijl hersteld. Het huis maakt nog steeds deel uit van het stadhuis. Er worden veel huwelijken afgesloten.