THINKSAFE: Самогенерируемое обеспечение безопасности для моделей рассуждений
THINKSAFE: Self-Generated Safety Alignment for Reasoning Models
January 30, 2026
Авторы: Seanie Lee, Sangwoo Park, Yumin Choi, Gyeongman Kim, Minki Kang, Jihun Yun, Dongmin Park, Jongho Park, Sung Ju Hwang
cs.AI
Аннотация
Крупные модели рассуждений (LRM) демонстрируют выдающиеся результаты, используя обучение с подкреплением (RL) на задачах логического вывода для генерации длинных цепочек рассуждений (CoT). Однако такая чрезмерная оптимизация часто приводит к приоритету соответствия запросам, что делает модели уязвимыми к вредоносным промптам. Для смягчения этого снижения безопасности современные подходы полагаются на дистилляцию знаний от внешних моделей-учителей, что, в свою очередь, создает распределительное расхождение, ухудшающее собственные способности модели к рассуждениям. Мы предлагаем ThinkSafe — фреймворк самогенерируемого выравнивания, который восстанавливает безопасностную адаптацию без внешних учителей. Наше ключевое наблюдение заключается в том, что хотя стремление к соответствию подавляет механизмы безопасности, модели часто сохраняют скрытые знания для распознавания вреда. ThinkSafe раскрывает этот потенциал с помощью легковесного управления отказами, направляя модель на генерацию безопасных трасс рассуждений, соответствующих ее исходному распределению. Дообучение на этих самогенерированных ответах эффективно перевыравнивает модель, минимизируя сдвиг распределения. Эксперименты на DeepSeek-R1-Distill и Qwen3 показывают, что ThinkSafe значительно повышает безопасность, сохраняя при этом качество рассуждений. Примечательно, что метод достигает превосходной безопасности и сопоставимого с GRPO уровня рассуждений при значительно меньших вычислительных затратах. Код, модели и наборы данных доступны по адресу https://github.com/seanie12/ThinkSafe.git.
English
Large reasoning models (LRMs) achieve remarkable performance by leveraging reinforcement learning (RL) on reasoning tasks to generate long chain-of-thought (CoT) reasoning. However, this over-optimization often prioritizes compliance, making models vulnerable to harmful prompts. To mitigate this safety degradation, recent approaches rely on external teacher distillation, yet this introduces a distributional discrepancy that degrades native reasoning. We propose ThinkSafe, a self-generated alignment framework that restores safety alignment without external teachers. Our key insight is that while compliance suppresses safety mechanisms, models often retain latent knowledge to identify harm. ThinkSafe unlocks this via lightweight refusal steering, guiding the model to generate in-distribution safety reasoning traces. Fine-tuning on these self-generated responses effectively realigns the model while minimizing distribution shift. Experiments on DeepSeek-R1-Distill and Qwen3 show ThinkSafe significantly improves safety while preserving reasoning proficiency. Notably, it achieves superior safety and comparable reasoning to GRPO, with significantly reduced computational cost. Code, models, and datasets are available at https://github.com/seanie12/ThinkSafe.git.