Het primitieve herenhuis van de voormalige heren van Wiltz bevond zich in de benedenstad waar de decanale kerk tegenwoordig staat.

Dit kasteel verzette zich tijdens de invasie van de Noormannen niet langer tegen de onophoudelijke aanvallen van de vijand, de heren van Wiltz bouwden tegen het einde van de 12e eeuw een ander kasteel aan het oostelijke uiteinde op rotsen boven aan de oevers van de rivier de Wiltz. In de 14e eeuw werden de vestingwerken afgebroken en werd een nieuwe, grotere omheining gebouwd.

In 1388 werd het kasteel vernietigd door de soldaten van de koning van Frankrijk tijdens een expeditie tegen het hertogdom Juliers.

Aan het begin van de 15e eeuw werden de stad en het kasteel afgebrand door de graaf van Nassau. In 1453, nauwelijks herrezen ​​uit de ruïnes, werd Wiltz opnieuw vernietigd onder Philippe de Bourgogne, door de Croy, gouverneur van Luxemburg.

Op 23 mei 1631 liet Johannes VI van Wiltz op dezelfde plaats een nieuw kasteel bouwen. Van het primitieve kasteel blijven alleen de oude heksentoren en de vierkante toren over, opgenomen in de gebouwen van het noordwesten. In deze toren was ooit de hoofdingang gevestigd, die via een ophaalbrug bereikbaar was.