AdvChain: Adversariale Ketting-van-Gedachten Afstemming voor Robuuste Veiligheidsafstemming van Grote Redeneermodellen

AdvChain: Adversarial Chain-of-Thought Tuning for Robust Safety Alignment of Large Reasoning Models

September 29, 2025

Auteurs: Zihao Zhu, Xinyu Wu, Gehan Hu, Siwei Lyu, Ke Xu, Baoyuan Wu

cs.AI

Samenvatting

Grote Redeneermodellen (LRMs) hebben opmerkelijke capaciteiten getoond in complexe probleemoplossing door middel van Chain-of-Thought (CoT) redenering. De meerstaps aard van CoT introduceert echter nieuwe veiligheidsuitdagingen die verder gaan dan conventionele uitlijning van taalmodel. We identificeren een faalmodus in huidige veiligheids CoT afstemmingsmethoden: het sneeuwbaleffect, waarbij kleine redeneerafwijkingen zich geleidelijk versterken gedurende het denkproces, wat leidt tot schadelijke naleving of overmatige weigering. Dit effect ontstaat doordat modellen worden getraind om perfecte redeneerscripten te imiteren zonder te leren om zichzelf te corrigeren. Om deze beperking aan te pakken, stellen we AdvChain voor, een uitlijningsparadigma dat modellen dynamische zelfcorrectie leert door middel van adversariële CoT afstemming. Onze methode omvat het construeren van een dataset met Verleiding-Correctie en Aarzeling-Correctie voorbeelden, waar modellen leren om te herstellen van schadelijke redeneerafwijkingen en onnodige voorzichtigheid. Uitgebreide experimenten tonen aan dat AdvChain de robuustheid tegen jailbreak-aanvallen en CoT-kaping aanzienlijk verbetert, terwijl het overmatige weigering op goedaardige prompts aanzienlijk vermindert, waardoor een superieure balans tussen veiligheid en bruikbaarheid wordt bereikt zonder de redeneercapaciteiten aan te tasten. Ons werk legt een nieuwe richting vast voor het bouwen van robuustere en betrouwbaardere redeneermodellen.

English

Large Reasoning Models (LRMs) have demonstrated remarkable capabilities in complex problem-solving through Chain-of-Thought (CoT) reasoning. However, the multi-step nature of CoT introduces new safety challenges that extend beyond conventional language model alignment. We identify a failure mode in current safety CoT tuning methods: the snowball effect, where minor reasoning deviations progressively amplify throughout the thought process, leading to either harmful compliance or excessive refusal. This effect stems from models being trained to imitate perfect reasoning scripts without learning to self-correct. To address this limitation, we propose AdvChain, an alignment paradigm that teaches models dynamic self-correction through adversarial CoT tuning. Our method involves constructing a dataset containing Temptation-Correction and Hesitation-Correction samples, where models learn to recover from harmful reasoning drifts and unnecessary cautions. Extensive experiments show that AdvChain significantly enhances robustness against jailbreak attacks and CoT hijacking while substantially reducing over-refusal on benign prompts, achieving a superior safety-utility balance without compromising reasoning capabilities. Our work establishes a new direction for building more robust and reliable reasoning models.