Le comte Baudouin Ier de Flandre aurait fait construire les premières fortifications à cet endroit pour se défendre de l'invasion des vikings. Le comte Arnoul Ier de Flandre, au sioècle suivant, fit de la construction un vrai château. Ce château n'était en majorité composé que de bois. Le château actuel fut construit en 1180 par le comte Philippe d'Alsace qui s'inspira des châteaux qu'il rencontra durant la Deuxième croisade. La richesse et la puissance comtale s'inscrit donc dans ses murs séculaires.

Le Gravensteen est composé d'un grand donjon en pierres de 3 étages et de 33 mètres de hautqui fut érigé au centre de l'emplacement de l'ancien château.

Le château servit de résidence comtale jusqu'au XIVe siècle. Le château fut ensuite utilisé comme prison. Des maisons furent construites contre ses murs et certaines de ses pierres furent même employées pour construire d'autres bâtiments.

Au XVIIIe siècle, le château abrita une filature de coton et il fut même prévu de le démolir à la fin du XIXe siècle.

En 1885, la ville de Gand fit l'acquisition du château et lança un vaste projet de rénovation. Les nouvelles constructions qui le bordaient furent enlevées. La restauration fut entreprise pour lui rendre son visage originel. du moins le ramener à un état le plus proche possible de ce qu'il fut du temps de sa splendeur.

La visite de ce vaste château, modèle d'architecture militaire s'il en est, s'impose autant pour la découverte des lieux, les panoramas sur la ville et ses monuments (à titre de comparaison, à faire à la suite de la montée du beffroi) et pour ses collections, notamment sur la prison, la torture et la peine de mort que pour ses armures et ses armes médiévales, notamment ses arbalètes et ses mousquets richement décorés de marquetterie.