Doorheen de eeuwen werd het als ridderverblijf, wapenarsenaal, klooster, school en bisschoppelijk seminarie gebruikt. In 1623 kwam er een dolhuis voor krankzinnigen en een tehuis voor mannelijke wezen. Een ander deel van het gebouw werd gebruikt als gevangenis of tuchthuis.  

De informatie gaat verder onder de afbeeldingen.