AdvChain: Ajuste Adversarial de Cadena de Pensamiento para la Alineación Robusta de la Seguridad en Modelos de Razonamiento a Gran Escala

AdvChain: Adversarial Chain-of-Thought Tuning for Robust Safety Alignment of Large Reasoning Models

September 29, 2025

Autores: Zihao Zhu, Xinyu Wu, Gehan Hu, Siwei Lyu, Ke Xu, Baoyuan Wu

cs.AI

Resumen

Los Modelos de Razonamiento a Gran Escala (LRMs, por sus siglas en inglés) han demostrado capacidades notables en la resolución de problemas complejos a través del razonamiento en Cadena de Pensamiento (CoT, por sus siglas en inglés). Sin embargo, la naturaleza de múltiples pasos del CoT introduce nuevos desafíos de seguridad que van más allá de la alineación convencional de los modelos de lenguaje. Identificamos un modo de fallo en los métodos actuales de ajuste de seguridad del CoT: el efecto bola de nieve, donde las desviaciones menores en el razonamiento se amplifican progresivamente a lo largo del proceso de pensamiento, llevando a una conformidad dañina o a un rechazo excesivo. Este efecto surge de que los modelos son entrenados para imitar guiones de razonamiento perfectos sin aprender a autocorregirse. Para abordar esta limitación, proponemos AdvChain, un paradigma de alineación que enseña a los modelos la autocorrección dinámica mediante el ajuste adversario del CoT. Nuestro método implica la construcción de un conjunto de datos que contiene muestras de Tentación-Corrección y Hesitación-Corrección, donde los modelos aprenden a recuperarse de desviaciones dañinas en el razonamiento y precauciones innecesarias. Experimentos extensos muestran que AdvChain mejora significativamente la robustez frente a ataques de jailbreak y secuestro del CoT, al mismo tiempo que reduce sustancialmente el rechazo excesivo en indicaciones benignas, logrando un equilibrio superior entre seguridad y utilidad sin comprometer las capacidades de razonamiento. Nuestro trabajo establece una nueva dirección para la construcción de modelos de razonamiento más robustos y confiables.

English

Large Reasoning Models (LRMs) have demonstrated remarkable capabilities in complex problem-solving through Chain-of-Thought (CoT) reasoning. However, the multi-step nature of CoT introduces new safety challenges that extend beyond conventional language model alignment. We identify a failure mode in current safety CoT tuning methods: the snowball effect, where minor reasoning deviations progressively amplify throughout the thought process, leading to either harmful compliance or excessive refusal. This effect stems from models being trained to imitate perfect reasoning scripts without learning to self-correct. To address this limitation, we propose AdvChain, an alignment paradigm that teaches models dynamic self-correction through adversarial CoT tuning. Our method involves constructing a dataset containing Temptation-Correction and Hesitation-Correction samples, where models learn to recover from harmful reasoning drifts and unnecessary cautions. Extensive experiments show that AdvChain significantly enhances robustness against jailbreak attacks and CoT hijacking while substantially reducing over-refusal on benign prompts, achieving a superior safety-utility balance without compromising reasoning capabilities. Our work establishes a new direction for building more robust and reliable reasoning models.