Le château était une véritable forteresse. Juché sur une élévation rocheuse, à l’entrée de la vallée, il contrôlait le passage vers la cité et les mines d’or.
Le duc avait fait bâtir, à mi-hauteur de la colline, un mur d’enceinte percé de meurtrières. Le mur, haut comme un immeuble de trois étages, était d’une grande épaisseur. Rempart et bâtiment, il abritait les logements des gardes, les écuries, les prisons. À l’intérieur de la muraille, juché sur une masse rocheuse en forme de pain de sucre, le domaine privé du duc. On y accédait par un escalier qui s’enroulait autour du rocher ou par une nacelle qui était descendue et remontée grâce à un treuil.