Ondanks de naam en de sombere aanblik heeft de duivel nooit in deze 13e-eeuwse burcht verbleven.

Doorheen de eeuwen werd het als ridderverblijf, wapenarsenaal, klooster, school en bisschoppelijk seminarie gebruikt. In 1623 kwam er een dolhuis voor krankzinnigen en een tehuis voor mannelijke wezen. Een ander deel van het gebouw werd gebruikt als gevangenis of tuchthuis.