Eind 12e eeuw werd Heerlen door Dirk van Are, aartsdiaken van het prinsbisdom Luik, kerkelijk losgemaakt van de Sint-Laurentiuskerk in Voerendaal en werd de Sint-Pancratiusparochie opgericht. De bouw van de kerk moet omstreeks deze tijd zijn begonnen. De ouderdom van de Sint-Pancratiuskerk is bepaald met behulp van een vergelijkende studie met andere romaanse kerken uit de regio, waaruit is gebleken dat de bouw van de Pancratiuskerk wellicht al eerder, in de 11e of zelfs in 10e eeuw is begonnen.
Door de eeuwen heen is er veel verbouwd en bijgebouwd. Het meest ingrijpend was een vergroting in 1901-03, ontworpen door de architect Jos Cuypers. Hierbij moest het neogotische koor uit 1863 wijken voor een transept met vieringtoren en een nieuw koor, alles in neoromaanse stijl.
Tijdens de Tweede Wereldoorlog liep de kerk schade op aan de noorderzijbeuk. De schade werd in de jaren na de oorlog onder leiding van Frits Peutz hersteld. In 1961 werd aan de zuidzijde van de kerk een sacristie en een doopkapel bijgebouwd. In 2009 en 2010 vond een grote restauratie plaats.