Grote Redeneermodellen Leren Betere Afstemming van Gebrekkig Denken

Large Reasoning Models Learn Better Alignment from Flawed Thinking

October 1, 2025

Auteurs: ShengYun Peng, Eric Smith, Ivan Evtimov, Song Jiang, Pin-Yu Chen, Hongyuan Zhan, Haozhu Wang, Duen Horng Chau, Mahesh Pasupuleti, Jianfeng Chi

cs.AI

Samenvatting

Grote redeneermodellen (LRMs) "denken" door gestructureerde ketens van gedachten (CoT) te genereren voordat ze een definitief antwoord produceren, maar ze missen nog steeds het vermogen om kritisch na te denken over veiligheidsafstemming en zijn gemakkelijk bevooroordeeld wanneer een gebrekkige premisse in hun denkproces wordt geïnjecteerd. Wij stellen RECAP voor (Robust Safety Alignment via Counter-Aligned Prefilling), een principiële reinforcement learning (RL)-methode voor na-training die modellen expliciet leert om gebrekkige redeneertrajecten te overschrijven en om te leiden naar veilige en behulpzame reacties. RECAP traint op een mix van synthetisch gegenereerde tegen-afgestemde CoT-prefills en standaard prompts, vereist geen extra trainingskosten of aanpassingen buiten de standaard reinforcement learning from human feedback (RLHF), en verbetert aanzienlijk de veiligheid en robuustheid tegen jailbreaks, vermindert overmatige weigering, en behoudt de kernredeneercapaciteit — allemaal binnen hetzelfde inferentietokenbudget. Uitgebreide analyse toont aan dat met RECAP getrainde modellen vaker zelfreflectie toepassen en robuust blijven onder adaptieve aanvallen, waarbij de veiligheid behouden blijft zelfs na herhaalde pogingen om hun redenering te overschrijven.

English

Large reasoning models (LRMs) "think" by generating structured chain-of-thought (CoT) before producing a final answer, yet they still lack the ability to reason critically about safety alignment and are easily biased when a flawed premise is injected into their thought process. We propose RECAP (Robust Safety Alignment via Counter-Aligned Prefilling), a principled reinforcement learning (RL) method for post-training that explicitly teaches models to override flawed reasoning trajectories and reroute to safe and helpful responses. RECAP trains on a mixture of synthetically generated counter-aligned CoT prefills and standard prompts, requires no additional training cost or modifications beyond vanilla reinforcement learning from human feedback (RLHF), and substantially improves safety and jailbreak robustness, reduces overrefusal, and preserves core reasoning capability -- all while maintaining inference token budget. Extensive analysis shows that RECAP-trained models engage in self-reflection more frequently and remain robust under adaptive attacks, preserving safety even after repeated attempts to override their reasoning.