Het oorspronkelijke kasteel van Hoei werd al in de 9e eeuw beschreven. Vanaf de middeleeuwen is het kasteel, dat Li Tchestia werd genoemd, steeds verder uitgebouwd vanwege de strategische positie langs de Maas. In de zeventiende eeuw, tijdens de oorlogen van Lodewijk XIV, kreeg het kasteel het zwaar te verduren. Na het Barrièretractaat waarin de verdediging van de Hollandse Republiek tegen de Franse agressie werd geregeld, werd het kasteel van Hoei afgebroken (1715). Een eeuw lang bleef de rots waarop het kasteel had gelegen leeg.
Li Tchestia was één van de zogenaamde 'vier wonderen van Hoei'.