AdvChain : Réglage Adversarial en Chaîne de Raisonnement pour un Alignement Robuste de la Sécurité des Grands Modèles de Raisonnement

AdvChain: Adversarial Chain-of-Thought Tuning for Robust Safety Alignment of Large Reasoning Models

September 29, 2025

papers.authors: Zihao Zhu, Xinyu Wu, Gehan Hu, Siwei Lyu, Ke Xu, Baoyuan Wu

cs.AI

papers.abstract

Les modèles de raisonnement à grande échelle (Large Reasoning Models, LRMs) ont démontré des capacités remarquables dans la résolution de problèmes complexes grâce au raisonnement en chaîne de pensée (Chain-of-Thought, CoT). Cependant, la nature multi-étapes du CoT introduit de nouveaux défis en matière de sécurité qui vont au-delà de l'alignement conventionnel des modèles de langage. Nous identifions un mode de défaillance dans les méthodes actuelles de réglage de sécurité du CoT : l'effet boule de neige, où des écarts mineurs dans le raisonnement s'amplifient progressivement tout au long du processus de pensée, conduisant soit à une conformité nuisible, soit à un refus excessif. Cet effet découle du fait que les modèles sont entraînés à imiter des scripts de raisonnement parfaits sans apprendre à s'autocorriger. Pour pallier cette limitation, nous proposons AdvChain, un paradigme d'alignement qui enseigne aux modèles l'autocorrection dynamique via un réglage adversarial du CoT. Notre méthode consiste à construire un ensemble de données contenant des échantillons de Tentation-Correction et Hésitation-Correction, où les modèles apprennent à se rétablir après des dérives de raisonnement nuisibles et des précautions inutiles. Des expériences approfondies montrent qu'AdvChain améliore significativement la robustesse contre les attaques de jailbreak et le détournement du CoT, tout en réduisant considérablement le sur-refus sur des invites bénignes, atteignant ainsi un équilibre supérieur entre sécurité et utilité sans compromettre les capacités de raisonnement. Notre travail établit une nouvelle direction pour la construction de modèles de raisonnement plus robustes et fiables.

English

Large Reasoning Models (LRMs) have demonstrated remarkable capabilities in complex problem-solving through Chain-of-Thought (CoT) reasoning. However, the multi-step nature of CoT introduces new safety challenges that extend beyond conventional language model alignment. We identify a failure mode in current safety CoT tuning methods: the snowball effect, where minor reasoning deviations progressively amplify throughout the thought process, leading to either harmful compliance or excessive refusal. This effect stems from models being trained to imitate perfect reasoning scripts without learning to self-correct. To address this limitation, we propose AdvChain, an alignment paradigm that teaches models dynamic self-correction through adversarial CoT tuning. Our method involves constructing a dataset containing Temptation-Correction and Hesitation-Correction samples, where models learn to recover from harmful reasoning drifts and unnecessary cautions. Extensive experiments show that AdvChain significantly enhances robustness against jailbreak attacks and CoT hijacking while substantially reducing over-refusal on benign prompts, achieving a superior safety-utility balance without compromising reasoning capabilities. Our work establishes a new direction for building more robust and reliable reasoning models.