THINKSAFE : Alignement de sécurité auto-généré pour les modèles de raisonnement
THINKSAFE: Self-Generated Safety Alignment for Reasoning Models
January 30, 2026
papers.authors: Seanie Lee, Sangwoo Park, Yumin Choi, Gyeongman Kim, Minki Kang, Jihun Yun, Dongmin Park, Jongho Park, Sung Ju Hwang
cs.AI
papers.abstract
Les grands modèles de raisonnement (LRM) obtiennent des performances remarquables en exploitant l'apprentissage par renforcement (RL) sur des tâches de raisonnement pour générer de longues chaînes de raisonnement (CoT). Cependant, cette sur-optimisation privilégie souvent la compliance, rendant les modèles vulnérables aux requêtes malveillantes. Pour atténuer cette dégradation de la sécurité, les approches récentes reposent sur la distillation par un enseignant externe, ce qui introduit toutefois un écart distributionnel qui altère le raisonnement natif. Nous proposons ThinkSafe, un cadre d'alignement auto-généré qui rétablit l'alignement de sécurité sans enseignants externes. Notre idée clé est que si la compliance supprime les mécanismes de sécurité, les modèles conservent souvent des connaissances latentes pour identifier les dangers. ThinkSafe libère ce potentiel via un guidage léger du refus, orientant le modèle pour générer des traces de raisonnement sécuritaires dans la distribution. Le micro-ajustement sur ces réponses auto-générées réaligne efficacement le modèle tout en minimisant le décalage distributionnel. Les expériences sur DeepSeek-R1-Distill et Qwen3 montrent que ThinkSafe améliore significativement la sécurité tout en préservant la compétence raisonnante. Notamment, il atteint une sécurité supérieure et un raisonnement comparable à GRPO, avec un coût computationnel nettement réduit. Le code, les modèles et les jeux de données sont disponibles à l'adresse https://github.com/seanie12/ThinkSafe.git.
English
Large reasoning models (LRMs) achieve remarkable performance by leveraging reinforcement learning (RL) on reasoning tasks to generate long chain-of-thought (CoT) reasoning. However, this over-optimization often prioritizes compliance, making models vulnerable to harmful prompts. To mitigate this safety degradation, recent approaches rely on external teacher distillation, yet this introduces a distributional discrepancy that degrades native reasoning. We propose ThinkSafe, a self-generated alignment framework that restores safety alignment without external teachers. Our key insight is that while compliance suppresses safety mechanisms, models often retain latent knowledge to identify harm. ThinkSafe unlocks this via lightweight refusal steering, guiding the model to generate in-distribution safety reasoning traces. Fine-tuning on these self-generated responses effectively realigns the model while minimizing distribution shift. Experiments on DeepSeek-R1-Distill and Qwen3 show ThinkSafe significantly improves safety while preserving reasoning proficiency. Notably, it achieves superior safety and comparable reasoning to GRPO, with significantly reduced computational cost. Code, models, and datasets are available at https://github.com/seanie12/ThinkSafe.git.