Le manoir primitif des anciens seigneurs de Wiltz, se trouvait dans la ville basse à l’emplacement actuel de l’église décanale.

Ce castel ne résistant plus, lors de l’invasion des Normands, aux attaques incessantes de l’ennemi, les seigneurs de Wiltz construisirent, vers la fin du XIIe siècle, un autre château fort à l’extrémité est d’une languette de rochers qui s’élève à pic sur les bords de la rivière Wiltz. Au XIVe siècle, les fortifications furent démolies et une nouvelle enceinte, plus vaste, fut édifiée.

En 1388, le château fut détruit par les soldats du roi de France lors d’une expédition contre le duché de Juliers.

Au commencement du XVe siècle, la ville et le château furent incendiés par le comte de Nassau. En 1453, à peine relevée de ses ruines, Wiltz fut de nouveau détruit sous Philippe de Bourgogne, par de Croy, gouverneur de Luxembourg.

Le 23 mai 1631, Jean VI de Wiltz fit construire un nouveau château au même emplacement. Du château primitif il ne restent que la vieille tour des sorcières et la tour carrée, englobée dans les bâtiments du nord-ouest. Cette tour abritait autrefois l’entrée principale que l’on pouvait atteindre par un pont levis.