THINKSAFE: Selbstgenerierte Sicherheitsausrichtung für Reasoning-Modelle
THINKSAFE: Self-Generated Safety Alignment for Reasoning Models
January 30, 2026
papers.authors: Seanie Lee, Sangwoo Park, Yumin Choi, Gyeongman Kim, Minki Kang, Jihun Yun, Dongmin Park, Jongho Park, Sung Ju Hwang
cs.AI
papers.abstract
Große Reasoning-Modelle (LRMs) erzielen bemerkenswerte Leistungen, indem sie Verstärkendes Lernen (RL) auf Reasoning-Aufgaben anwenden, um lange Ketten von Denkschritten (Chain-of-Thought, CoT) zu generieren. Diese Überoptimierung priorisiert jedoch oft die Befolgung von Anweisungen, was Modelle anfällig für schädliche Prompts macht. Um diesen Sicherheitsverlust abzumildern, setzen aktuelle Ansätze auf externe Lehrer-Distillation, was jedoch eine Verteilungsdiskrepanz einführt, die das ursprüngliche Reasoning beeinträchtigt. Wir schlagen ThinkSafe vor, einen Rahmen zur selbstgenerierten Ausrichtung, der die Sicherheitsausrichtung ohne externe Lehrer wiederherstellt. Unsere zentrale Erkenntnis ist, dass Modelle, obwohl die Befolgung Sicherheitsmechanismen unterdrückt, oft latentes Wissen zur Schadenserkenntnis bewahren. ThinkSafe erschließt dieses durch leichtgewichtige Verweigerungssteuerung, die das Modell anleitet, sicherheitsrelevante Reasoning-Spuren innerhalb der eigenen Verteilung zu generieren. Ein Fine-Tuning mit diesen selbstgenerierten Antworten richtet das Modell effektiv neu aus und minimiert dabei die Verteilungsverschiebung. Experimente mit DeepSeek-R1-Distill und Qwen3 zeigen, dass ThinkSafe die Sicherheit signifikant verbessert und gleichzeitig die Reasoning-Fähigkeit erhält. Bemerkenswerterweise erreicht es eine überlegene Sicherheit und vergleichbares Reasoning zu GRPO bei deutlich reduziertem Rechenaufwand. Code, Modelle und Datensätze sind verfügbar unter https://github.com/seanie12/ThinkSafe.git.
English
Large reasoning models (LRMs) achieve remarkable performance by leveraging reinforcement learning (RL) on reasoning tasks to generate long chain-of-thought (CoT) reasoning. However, this over-optimization often prioritizes compliance, making models vulnerable to harmful prompts. To mitigate this safety degradation, recent approaches rely on external teacher distillation, yet this introduces a distributional discrepancy that degrades native reasoning. We propose ThinkSafe, a self-generated alignment framework that restores safety alignment without external teachers. Our key insight is that while compliance suppresses safety mechanisms, models often retain latent knowledge to identify harm. ThinkSafe unlocks this via lightweight refusal steering, guiding the model to generate in-distribution safety reasoning traces. Fine-tuning on these self-generated responses effectively realigns the model while minimizing distribution shift. Experiments on DeepSeek-R1-Distill and Qwen3 show ThinkSafe significantly improves safety while preserving reasoning proficiency. Notably, it achieves superior safety and comparable reasoning to GRPO, with significantly reduced computational cost. Code, models, and datasets are available at https://github.com/seanie12/ThinkSafe.git.