In den Anhöhen nahe Pretoria befindet sich die Ruine der "Heinrichsburg", benannt nach ihrem letzten Bewohner, Herzog Heinrich III. Erbaut wurde die Burg um 930, als zentraler Bestandteil der Befestigung Pretorias. Zunächst war sie nur als Stammsitz der Herrscherfamilie genutzt, aber ab 1045 wurde hier auch Gericht gehalten. Bei einem Großbrand im Jahre 1534 wurde die Burg weitgehend zerstört. Böse Zungen behaupten, dass Herzog Heinrich die Burg absichtlich in Brand steckte um einen Grund zu haben ein neues Schloss bauen zu lassen (tatsächlich begannen die Bauarbeiten zum neuen Schloss viel zu kurz nach dem Brand, als dass eine Planung erst nach dem Brand begonnen haben könnte) Lange Zeit stand die Ruine unberührt von Menschenhand. Erst Mitte des 19. Jhd. wurden Teile für Touristen begehbar gemacht.