In 1949 werd in Hattem een oudheidskamer ingericht, die zich vooral richtte op de geschiedenis van Hattem en omgeving. In de loop der jaren veranderde de functie van streekmuseum en richtte men zich daarnaast steeds meer op kunstenaars die in Hattem hebben gewoond en gewerkt. In 1971 verhuisde het museum naar de Achterstraat, waar het nog steeds is gevestigd.
Het museum dankt zijn naam aan de kunstschilders Jan Voerman sr. en Jan Voerman jr.. Andere kunstenaars van wie het museum werk in de collectie heeft zijn onder anderen Jo Koster, Bé Thoden van Velzen, Johannes Bosboom en Adriaan Eversen.
