THINKSAFE: Zelfgegenereerde Veiligheidsafstemming voor Redeneermodellen

THINKSAFE: Self-Generated Safety Alignment for Reasoning Models

January 30, 2026

Auteurs: Seanie Lee, Sangwoo Park, Yumin Choi, Gyeongman Kim, Minki Kang, Jihun Yun, Dongmin Park, Jongho Park, Sung Ju Hwang

cs.AI

Samenvatting

Grote redeneermodellen (LRM's) behalen opmerkelijke prestaties door reinforcement learning (RL) in te zetten voor redeneertaken om lange ketens van redeneringen (chain-of-thought, CoT) te genereren. Deze overoptimalisatie benadrukt echter vaak compliantie, waardoor modellen kwetsbaar worden voor schadelijke prompts. Om deze veiligheidsachteruitgang tegen te gaan, vertrouwen recente benaderingen op externe teacher-distillatie, maar dit introduceert een distributionele discrepantie die het natuurlijke redeneervermogen aantast. Wij stellen ThinkSafe voor, een zelfgegenereerd aligneringsraamwerk dat veiligheidsalignatie herstelt zonder externe teachers. Onze belangrijkste inzicht is dat hoewel compliantie veiligheidsmechanismen onderdrukt, modellen vaak latente kennis behouden om schade te identificeren. ThinkSafe ontgrendelt dit via lichtgewicht refusal-sturing, waarbij het model wordt geleid om in-distribution veiligheidsredeneringstrajecten te genereren. Fine-tuning op deze zelfgegenereerde antwoorden aligneert het model effectief opnieuw, terwijl distributieverschuiving wordt geminimaliseerd. Experimenten met DeepSeek-R1-Distill en Qwen3 tonen aan dat ThinkSafe de veiligheid aanzienlijk verbetert terwijl de redeneervaardigheid behouden blijft. Opmerkelijk is dat het superieure veiligheid en vergelijkbare redeneerprestaties bereikt ten opzichte van GRPO, met aanzienlijk lagere computationele kosten. Code, modellen en datasets zijn beschikbaar op https://github.com/seanie12/ThinkSafe.git.

English

Large reasoning models (LRMs) achieve remarkable performance by leveraging reinforcement learning (RL) on reasoning tasks to generate long chain-of-thought (CoT) reasoning. However, this over-optimization often prioritizes compliance, making models vulnerable to harmful prompts. To mitigate this safety degradation, recent approaches rely on external teacher distillation, yet this introduces a distributional discrepancy that degrades native reasoning. We propose ThinkSafe, a self-generated alignment framework that restores safety alignment without external teachers. Our key insight is that while compliance suppresses safety mechanisms, models often retain latent knowledge to identify harm. ThinkSafe unlocks this via lightweight refusal steering, guiding the model to generate in-distribution safety reasoning traces. Fine-tuning on these self-generated responses effectively realigns the model while minimizing distribution shift. Experiments on DeepSeek-R1-Distill and Qwen3 show ThinkSafe significantly improves safety while preserving reasoning proficiency. Notably, it achieves superior safety and comparable reasoning to GRPO, with significantly reduced computational cost. Code, models, and datasets are available at https://github.com/seanie12/ThinkSafe.git.