Wanneer de eerste burcht op die plaats gebouwd is kan niemand achterhalen maar zeker is dat Poeke in 1139 reeds werd vermeld. Het gebouw heeft wel een voorname rol gespeeld in het conflict tussen Lodewijk van Male en de Gentenaars in 1382. In datzelfde jaar sneuvelde Eulaard II van Poeke, toen hij aan het hoofd van de grafelijke troepen bij de slag op het Beverhoutsveld de opmars van de Gentse milities trachtte tegen te houden, eerder hadden ze zijn burcht ingenomen.
De kasteelheren van Poeke waren trouwe vazallen van de graaf van Vlaanderen. Zo was Anastasia van Oultre, tweede vrouw van Eulaard III van Poeke, hertrouwd met Robert van Vlaanderen, bastaardzoon van Lodewijk van Male.
