Große Reasoning-Modelle lernen bessere Ausrichtung aus fehlerhaftem Denken.

Large Reasoning Models Learn Better Alignment from Flawed Thinking

October 1, 2025

papers.authors: ShengYun Peng, Eric Smith, Ivan Evtimov, Song Jiang, Pin-Yu Chen, Hongyuan Zhan, Haozhu Wang, Duen Horng Chau, Mahesh Pasupuleti, Jianfeng Chi

cs.AI

papers.abstract

Große Reasoning-Modelle (LRMs) „denken“, indem sie strukturierte Gedankenketten (Chain-of-Thought, CoT) generieren, bevor sie eine endgültige Antwort liefern. Dennoch fehlt ihnen die Fähigkeit, kritisch über Sicherheitsausrichtung (Safety Alignment) nachzudenken, und sie sind leicht voreingenommen, wenn ein fehlerhafter Prämisse in ihren Denkprozess eingeführt wird. Wir schlagen RECAP (Robust Safety Alignment via Counter-Aligned Prefilling) vor, eine prinzipielle Methode des Reinforcement Learning (RL) für das Post-Training, die Modelle explizit dazu anleitet, fehlerhafte Denkpfade zu überschreiben und auf sichere und hilfreiche Antworten umzuleiten. RECAP trainiert mit einer Mischung aus synthetisch generierten, gegenläufig ausgerichteten CoT-Prefills und Standard-Prompts, erfordert keine zusätzlichen Trainingskosten oder Modifikationen über das herkömmliche Reinforcement Learning from Human Feedback (RLHF) hinaus und verbessert die Sicherheit und Jailbreak-Robustheit erheblich, reduziert Überverweigerung und bewahrt die Kernfähigkeit des Reasonings – alles bei Beibehaltung des Inferenz-Token-Budgets. Umfangreiche Analysen zeigen, dass mit RECAP trainierte Modelle häufiger Selbstreflexion betreiben und unter adaptiven Angriffen robust bleiben, wodurch die Sicherheit auch nach wiederholten Versuchen, ihr Reasoning zu überschreiben, erhalten bleibt.

English

Large reasoning models (LRMs) "think" by generating structured chain-of-thought (CoT) before producing a final answer, yet they still lack the ability to reason critically about safety alignment and are easily biased when a flawed premise is injected into their thought process. We propose RECAP (Robust Safety Alignment via Counter-Aligned Prefilling), a principled reinforcement learning (RL) method for post-training that explicitly teaches models to override flawed reasoning trajectories and reroute to safe and helpful responses. RECAP trains on a mixture of synthetically generated counter-aligned CoT prefills and standard prompts, requires no additional training cost or modifications beyond vanilla reinforcement learning from human feedback (RLHF), and substantially improves safety and jailbreak robustness, reduces overrefusal, and preserves core reasoning capability -- all while maintaining inference token budget. Extensive analysis shows that RECAP-trained models engage in self-reflection more frequently and remain robust under adaptive attacks, preserving safety even after repeated attempts to override their reasoning.