AdvChain: Adversariale Chain-of-Thought-Anpassung für robuste Sicherheitsausrichtung großer Reasoning-Modelle

AdvChain: Adversarial Chain-of-Thought Tuning for Robust Safety Alignment of Large Reasoning Models

September 29, 2025

papers.authors: Zihao Zhu, Xinyu Wu, Gehan Hu, Siwei Lyu, Ke Xu, Baoyuan Wu

cs.AI

papers.abstract

Große Reasoning-Modelle (LRMs) haben bemerkenswerte Fähigkeiten bei der Lösung komplexer Probleme durch Chain-of-Thought (CoT)-Reasoning demonstriert. Die mehrstufige Natur von CoT führt jedoch zu neuen Sicherheitsherausforderungen, die über die konventionelle Ausrichtung von Sprachmodellen hinausgehen. Wir identifizieren einen Fehlermodus in aktuellen Sicherheits-CoT-Tuning-Methoden: den Schneeballeffekt, bei dem geringfügige Abweichungen im Reasoning sich im Laufe des Denkprozesses verstärken und entweder zu schädlicher Compliance oder übermäßiger Verweigerung führen. Dieser Effekt rührt daher, dass Modelle darauf trainiert werden, perfekte Reasoning-Skripte nachzuahmen, ohne zu lernen, sich selbst zu korrigieren. Um diese Einschränkung zu überwinden, schlagen wir AdvChain vor, ein Ausrichtungsparadigma, das Modelle durch adversarielles CoT-Tuning dynamische Selbstkorrektur lehrt. Unsere Methode umfasst die Erstellung eines Datensatzes mit Temptation-Correction- und Hesitation-Correction-Beispielen, in denen Modelle lernen, von schädlichen Reasoning-Abweichungen und unnötigen Vorsichtsmaßnahmen zurückzukehren. Umfangreiche Experimente zeigen, dass AdvChain die Robustheit gegen Jailbreak-Angriffe und CoT-Hijacking signifikant verbessert und gleichzeitig die übermäßige Verweigerung bei harmlosen Anfragen erheblich reduziert, wodurch ein überlegener Sicherheits-Nutzen-Kompromiss erreicht wird, ohne die Reasoning-Fähigkeiten zu beeinträchtigen. Unsere Arbeit etabliert eine neue Richtung für den Aufbau robusterer und zuverlässigerer Reasoning-Modelle.

English

Large Reasoning Models (LRMs) have demonstrated remarkable capabilities in complex problem-solving through Chain-of-Thought (CoT) reasoning. However, the multi-step nature of CoT introduces new safety challenges that extend beyond conventional language model alignment. We identify a failure mode in current safety CoT tuning methods: the snowball effect, where minor reasoning deviations progressively amplify throughout the thought process, leading to either harmful compliance or excessive refusal. This effect stems from models being trained to imitate perfect reasoning scripts without learning to self-correct. To address this limitation, we propose AdvChain, an alignment paradigm that teaches models dynamic self-correction through adversarial CoT tuning. Our method involves constructing a dataset containing Temptation-Correction and Hesitation-Correction samples, where models learn to recover from harmful reasoning drifts and unnecessary cautions. Extensive experiments show that AdvChain significantly enhances robustness against jailbreak attacks and CoT hijacking while substantially reducing over-refusal on benign prompts, achieving a superior safety-utility balance without compromising reasoning capabilities. Our work establishes a new direction for building more robust and reliable reasoning models.