Het domein is gelegen tussen de Noordzandstraat/Geldmuntstraat, de Moerstraat, de Ontvangersstraat en de Geerwijnstraat. Het was oorspronkelijk de residentie van de graven van Vlaanderen en later van de Bourgondische hertogen.
Aanvankelijk woonden de graven van Vlaanderen op de Burg. Aan het begin van de 14e eeuw kwam de grafelijke residentie aan de Noordzandstraat. Het was echter pas in 1396 dat het Kasteel Prinsenhof voor het eerst werd vermeld. Na verscheidene uitbreidingen door de Bourgondische hertogen, die er in de 15e eeuw kwamen verblijven, bestond het gebouwencomplex uit residenties van de hertog, verblijven voor hovelingen, ambtenaren en gasten, dienstgebouwen, een slottoren, een kapel, een kaatsbaan, een boomgaard, verschillende tuinen en een dierentuin met exotische dieren. Vooral Filips de Goede en zijn kleindochter Maria van Bourgondië verbleven er en zijn er ook overleden.
Na het overlijden van Maria van Bourgondië in 1482 raakte het Prinsenhof grotendeels in onbruik als vorstelijke residentie. Het werd nog regelmatig gebruikt als hotel en conferentieplaats voor internationale bijeenkomsten. Erasmus, Thomas More, en andere geleerden en diplomaten logeerden er.
In 1576 werd een aanzienlijk deel van het domein verkocht en verkaveld. In 1631 werd wat er nog van restte, eveneens verkocht.
