AdvChain: Ottimizzazione Adversarial della Catena di Pensiero per un Allineamento Sicuro e Robusto nei Modelli di Ragionamento su Grande Scala

AdvChain: Adversarial Chain-of-Thought Tuning for Robust Safety Alignment of Large Reasoning Models

September 29, 2025

Autori: Zihao Zhu, Xinyu Wu, Gehan Hu, Siwei Lyu, Ke Xu, Baoyuan Wu

cs.AI

Abstract

I Large Reasoning Models (LRM) hanno dimostrato capacità notevoli nella risoluzione di problemi complessi attraverso il ragionamento a catena di pensiero (Chain-of-Thought, CoT). Tuttavia, la natura multi-step del CoT introduce nuove sfide in termini di sicurezza che vanno oltre l'allineamento convenzionale dei modelli linguistici. Identifichiamo una modalità di fallimento nei metodi attuali di regolazione della sicurezza del CoT: l'effetto valanga, in cui piccole deviazioni nel ragionamento si amplificano progressivamente durante il processo di pensiero, portando a una conformità dannosa o a un rifiuto eccessivo. Questo effetto deriva dal fatto che i modelli vengono addestrati a imitare script di ragionamento perfetti senza imparare a correggersi autonomamente. Per affrontare questa limitazione, proponiamo AdvChain, un paradigma di allineamento che insegna ai modelli l'autocorrezione dinamica attraverso una regolazione avversaria del CoT. Il nostro metodo prevede la costruzione di un dataset contenente campioni di Tentazione-Correzione e Esitazione-Correzione, in cui i modelli imparano a recuperare da derive dannose nel ragionamento e da cautele non necessarie. Esperimenti estesi dimostrano che AdvChain migliora significativamente la robustezza contro attacchi di jailbreak e dirottamento del CoT, riducendo sostanzialmente il rifiuto eccessivo su prompt benigni e raggiungendo un equilibrio superiore tra sicurezza e utilità senza compromettere le capacità di ragionamento. Il nostro lavoro stabilisce una nuova direzione per la costruzione di modelli di ragionamento più robusti e affidabili.

English

Large Reasoning Models (LRMs) have demonstrated remarkable capabilities in complex problem-solving through Chain-of-Thought (CoT) reasoning. However, the multi-step nature of CoT introduces new safety challenges that extend beyond conventional language model alignment. We identify a failure mode in current safety CoT tuning methods: the snowball effect, where minor reasoning deviations progressively amplify throughout the thought process, leading to either harmful compliance or excessive refusal. This effect stems from models being trained to imitate perfect reasoning scripts without learning to self-correct. To address this limitation, we propose AdvChain, an alignment paradigm that teaches models dynamic self-correction through adversarial CoT tuning. Our method involves constructing a dataset containing Temptation-Correction and Hesitation-Correction samples, where models learn to recover from harmful reasoning drifts and unnecessary cautions. Extensive experiments show that AdvChain significantly enhances robustness against jailbreak attacks and CoT hijacking while substantially reducing over-refusal on benign prompts, achieving a superior safety-utility balance without compromising reasoning capabilities. Our work establishes a new direction for building more robust and reliable reasoning models.