На протяжении нескольких веков замок использовался графами Фландрии в качестве резиденции. Позднее Гравенстен также служил монетным двором, местом проведения судебных заседаний, тюрьмой и текстильной фабрикой.

Гравенстейн в том виде, в каком его можно видеть сейчас, был построен графом Филиппом Эльзасским в 1180 году. Тогда был расширен главный зал, сам замок окружили стеной с 24 башенками и выкопали вокруг неё ров. В те неспокойные для Гента времена величественный Гравенстен символизировал могущество графов Фландрии и служил своего рода противовесом высоким домам знати, которые были расположены на другом берегу реки Лейе.

В XIV веке Гравенстейн перестал выполнять функцию резиденции, так как, по мнению правившего тогда графа Людовика II Мальского, был недостаточно комфортным. Тем не менее, замок сохранил свою административную функцию в графстве Фландрия.

Музей правосудия

С 1353 года замок использовался в качестве Гентского монетного двора. С 1407 года в замке размещался верховный суд графства, Совет Фландрии, а также тюрьма.