Planté sur un éperon dominant le confluent de la Béthune et de la Varenne, le château est composé de deux parties distinctes cernées par un énorme fossé sec creusé à même la roche. Ses dimensions sont prodigieuses, avec une largeur moyenne de 20 mètres et une profondeur de 15 mètres. Les parois en sont particulièrement abruptes. Sur le talus de contrescarpe courait un chemin de ronde, sans doute protégé par une palissade de bois. Eugène Viollet-le-Duc le datait de l'époque de la fondation du château. Jean Mesqui l'estime en revanche beaucoup plus tardif (XVe, voire XVIe siècle), s'appuyant sur le fait que le bastion construit au XVe siècle est lui aussi cerné par ce colossal terrassement. Les deux hypothèses restent plausibles, mais rien n'interdit d'envisager le prolongement voire l'agrandissement d'un fossé très ancien lors des aménagements ultérieurs.

L'avant-corps bâti à la fin du XVe siècle est de plan presque rectangulaire, cantonné aux quatre angles de grosses tours à canons. Le châtelet d'entrée (nord) est composé de deux tours en U. Celle trônant à l'angle sud-est possède en revanche un éperon, disposition assez rare dans l'architecture militaire de ce temps, mais très courant autour de 1200 dans la sphère d'influence des Plantagenêts. Il n'est pas impossible, en l'absence d'étude véritablement sérieuse sur le sujet, de poser l'hypothèse qu'il puisse s'agir là de la reprise complète du plan d'un édifice plus ancien. La dernière tour à canon est simplement circulaire.

L'enceinte principale correspond certainement à l'emplacement du château primitif. Elle est flanquée de plusieurs tours d'époques diverses et presque impossibles à dater sans une analyse complète, vu leur état de délabrement avancé. Sous Charles V fut aménagée au sud une seconde entrée avec pont-levis. Une pile destinée à recevoir le tablier de bois repose encore au fond du fossé. Dans l'angle sud-ouest enfin, trône le donjon quadrangulaire à contreforts particulièrement proéminents. Il est caractéristique du premier quart du XIIe siècle, avait une vocation résidentielle et présente encore les restes d'un escalier à vis.