LA CLEF DE VOÛTE. Avec ses murs en pierre rouge, le château fort de Castelnau-Bretenoux impose encore de nos jours sa puissance militaire d'antan. Ses hautes tours massives et son immense muraille forment une ombre protectrice sur les terres alentours. Construit du XIIe au XVIIe siècle par une puissante famille de barons, les Castelnau de Bretenoux, le château fort commanda en Haut-Quercy un riche territoire de vallées aux confins du comté de Toulouse, du comté d'Auvergne, de la vicomté de Turenne et du duché d'Aquitaine.
Les premiers barons élevèrent un fort dominé par une tour maîtresse sur le modèle des « nouveaux castels », entouré d'un bourg castral dès 1100. De la place forte primitive ont été conservés le logis seigneurial et le donjon carré. Sans cesse agrandi et fortifié par ses seigneurs au fil des siècles, le château se développe sur un plan approximativement triangulaire. La forme du promontoire sur lequel il repose lui a donné ce plan original. Au cours des XIVe et XVe siècles, le château adopte sa configuration définitive, avec un corps de logis cantonné de tours protégées par une enceinte basse et des fossés. Il fut aussi adapté à l'artillerie.
Les lignes de défense extérieures sont constituées d'une grande enceinte en terrasse (longueur 250 m), flanquée par six tours semi-circulaires et trois bastions en éperon, dont un accueille l'entrée. Le château, à proprement parlé, est flanqué par six tours cylindriques. Il se compose, flanc est, d'une tour-porte en position centrale et de logis au sud-est. Le portique à arcades ouvrant sur la cour intérieure habille son revers. À l'angle nord-est prend place la massive tour d'artillerie dit « tour militaire ». Elle tire son nom de sa taille (plus de 14 m de diamètres) et de son système défensif (cinq étages percés d'archères et de canonnières). Ses trois salles hautes sont équipées de fenêtres à coussièges, de cheminées et de latrines.
Le flanc sud-ouest se compose du donjon (à l'angle sud), de la tour-résidence de l'Auditoire et des logis du XIVe siècle. Une tour circulaire, moins massive que la tour militaire, vient fermer l'angle nord-ouest. Le donjon carré (7 m de côté), non habitable, domine de ses 30 m l'ensemble du site. Il se divise en cinq niveaux dont un est voûté sur ogives. Des constructions du XVe siècle masquent son flanc sud. L'Auditoire est un bâtiment résidentiel rectangulaire (8 m x 11 m) se composant de cinq niveaux. L'étage supérieur est éclairé par cinq magnifiques baies à colonnettes dont le matériau calcaire blanc contraste avec la couleur brun-rouge du logis et en accentue le côté symbolique. Les deux baies côté cour sont plus richement décorées que les trois extérieures.
Une chapelle située au rez-de-chaussée du logis jouxtant l'Auditoire est ajoutée au XIVe siècle. Elle est constituée de deux travées voûtées de croisées d'ogives, dont les clefs de voûte sont aux armes des Castelnau de Bretenoux. Si le décor peint a presque totalement disparu (encore présent au XIXe siècle), le mobilier gothique a traversé les siècles.
La famille de Clermont Lodère qui a hérité de la baronnie en 1530, entreprend des travaux d'embellissement de l'austère forteresse au milieu du XVIIe siècle. Le château est magnifié de riches et spacieux salons à la décoration raffinée. De somptueux décors peints ornent les bâtiments, de hautes fenêtres sont conçues ainsi que des galeries à portiques. Le mur nord est percé d'un vaste balcon d'honneur ouvert sur la Dordogne. Ayant perdu sa vocation défensive, cette transformation de la forteresse évita la destruction voulue par Richelieu.
Après la mort du dernier propriétaire, le château tombe à l'abandon pendant presque deux siècles. Relativement épargné pendant la Révolution, le château connaît au XIXe siècle d'irréparables dommages, suite notamment à un incendie en 1851. Ayant fait l'objet de pas moins de cinq ventes successives à partir de 1830, il trouve enfin en 1896 un acquéreur, Jean Mouliérat, soucieux de le sauver d'une ruine définitive. Ténor à l'Opéra Comique de Paris, natif de Vers près de Cahors, Jean Mouliérat consacre ses trente dernière années d'existence à restaurer et remeubler le prestigieux château, avant d'en faire don à l'État en 1932.
Considéré comme la seconde forteresse de France, le château de Castelnau-Bretenoux a gardé sa formidable ampleur, résultat de plusieurs campagnes de construction. Aujourd'hui il fait partie des monuments imposants que l'on ne se lasse pas d'admirer.