AdvChain: Настройка цепочки рассуждений с использованием состязательного подхода для обеспечения устойчивого соответствия требованиям безопасности в крупных моделях логического вывода

Аннотация

Крупные модели рассуждений (Large Reasoning Models, LRMs) продемонстрировали впечатляющие способности в решении сложных задач благодаря цепочке рассуждений (Chain-of-Thought, CoT). Однако многошаговый характер CoT вносит новые проблемы безопасности, выходящие за рамки традиционной настройки языковых моделей. Мы выявили недостаток в современных методах настройки безопасности CoT: эффект снежного кома, при котором незначительные отклонения в рассуждениях постепенно усиливаются на протяжении мыслительного процесса, приводя либо к вредоносному согласию, либо к чрезмерному отказу. Этот эффект возникает из-за того, что модели обучаются имитировать идеальные сценарии рассуждений, не учась самокоррекции. Чтобы устранить это ограничение, мы предлагаем AdvChain — парадигму настройки, которая обучает модели динамической самокоррекции через состязательную настройку CoT. Наш метод включает создание набора данных, содержащего примеры "Искушение-Коррекция" и "Нерешительность-Коррекция", где модели учатся восстанавливаться после вредоносных отклонений в рассуждениях и излишней осторожности. Многочисленные эксперименты показывают, что AdvChain значительно повышает устойчивость к атакам на взлом и захват CoT, одновременно существенно снижая чрезмерный отказ на безобидных запросах, достигая превосходного баланса между безопасностью и полезностью без ущерба для способности к рассуждениям. Наша работа задает новое направление для создания более надежных и устойчивых моделей рассуждений.

English

Large Reasoning Models (LRMs) have demonstrated remarkable capabilities in complex problem-solving through Chain-of-Thought (CoT) reasoning. However, the multi-step nature of CoT introduces new safety challenges that extend beyond conventional language model alignment. We identify a failure mode in current safety CoT tuning methods: the snowball effect, where minor reasoning deviations progressively amplify throughout the thought process, leading to either harmful compliance or excessive refusal. This effect stems from models being trained to imitate perfect reasoning scripts without learning to self-correct. To address this limitation, we propose AdvChain, an alignment paradigm that teaches models dynamic self-correction through adversarial CoT tuning. Our method involves constructing a dataset containing Temptation-Correction and Hesitation-Correction samples, where models learn to recover from harmful reasoning drifts and unnecessary cautions. Extensive experiments show that AdvChain significantly enhances robustness against jailbreak attacks and CoT hijacking while substantially reducing over-refusal on benign prompts, achieving a superior safety-utility balance without compromising reasoning capabilities. Our work establishes a new direction for building more robust and reliable reasoning models.

AdvChain: Adversarial Chain-of-Thought Tuning for Robust Safety Alignment of Large Reasoning Models

Аннотация

Support