Trotz des Namens und des düsteren Anblicks hat sich der Teufel nie in diesem Schloss aus dem 13. Jh. aufgehalten.

Im Laufe der Jahrhunderte wurde es als Ritterbleibe, Waffenarsenal, Kloster, Schule und bischöfliches Seminar genutzt. 1623 fungierte es als Tollhaus für Geisteskranke und Zuhause für männliche Waisen. Ein anderer Teil des Gebäudes wurde als Gefängnis oder Zuchthaus genutzt.