Van het 'hof' blijft weliswaar niet veel meer over, maar elke Gentenaar zal je vertellen dat het Prinsenhof de plaats is waar prins Karel V, die later zou uitgroeien tot Keizer Karel van het Heilige Roomse Rijk, in 1500 geboren is. Met een beetje geluk vertelt die Gentenaar je er ook nog bij dat zijn moeder, Maria van Bourgondië, eigenlijk op weg was naar het Gravensteen om te bevallen, maar het zo ver niet gehaald heeft. De toegangspoort van het Prinsenhof geldt daarom tot vandaag als het geboortehuis van Keizer Karel.
Voor de geboorte van Keizer Karel stond het Prinsenhof bekend als het Hof ter Walle, dat sinds 1353 een comfortabeler onderkomen moest verzorgen voor de uit het Gravensteen uitgeweken Vlaamse graven en Bourgondische hertogen. Op zijn hoogtepunt was het hof ruim twee hectare groot, bestond het uit driehonderd kamers, een lusthof, vijvers en een dierentuin. Nadat het hof in de zeventiende eeuw aan populariteit verloor, werd het domein vrij snel ingepalmd door fabrieken en hun arbeiders. De schouw van de suikerraffinaderij die er in de achttiende eeuw ontstond, staat er vandaag nog. Aan de prinselijke periode van het Prinsenhof houdt de wijk enkel de toegangspoort over.
