Das primitive Herrenhaus der ehemaligen Herren von Wiltz befand sich in der Unterstadt, in der heute die Dekanalkirche steht.

Diese Burg widerstand während des Einmarsches der Normannen nicht mehr den unaufhörlichen Angriffen des Feindes. Die Herren von Wiltz errichteten gegen Ende des 12. Jahrhunderts eine weitere befestigte Burg am östlichen Ende einer Felsenzunge. Im 14. Jahrhundert wurden die Befestigungen abgerissen und neu und größer wieder erbaut.

1388 wurde die Burg von Soldaten des Königs von Frankreich zerstört, jedoch kurz darauf wieder aufgebaut.

Zu Beginn des 15. Jahrhunderts wurden die Stadt und die Burg vom Grafen von Nassau niedergebrannt. Im Jahr 1453 wurden Wiltz und das Schloss ein weiteres Mal zerstört, als der Öslinger Adel sich gegen die Truppen von Philipp von Burgund zur Wehr setzte.

Am 23. Mai 1631 ließ Graf Jan von Wiltz an derselben Stelle eine neue Burg errichten. Von der ursprünglichen Burg sind nur der alte Hexenturm und der quadratische Turm erhalten, die in den Gebäuden des Nordwestens liegen. In diesem Turm befand sich einst der Haupteingang, der über eine Zugbrücke erreichbar war.