I Grandi Modelli di Ragionamento Apprendono un Miglior Allineamento dal Pensiero Imperfetto

Large Reasoning Models Learn Better Alignment from Flawed Thinking

October 1, 2025

Autori: ShengYun Peng, Eric Smith, Ivan Evtimov, Song Jiang, Pin-Yu Chen, Hongyuan Zhan, Haozhu Wang, Duen Horng Chau, Mahesh Pasupuleti, Jianfeng Chi

cs.AI

Abstract

I grandi modelli di ragionamento (LRM) "pensano" generando catene di pensiero strutturate (CoT) prima di produrre una risposta finale, ma mancano ancora della capacità di ragionare criticamente sull'allineamento alla sicurezza e sono facilmente influenzati da preconcetti errati inseriti nel loro processo di pensiero. Proponiamo RECAP (Robust Safety Alignment via Counter-Aligned Prefilling), un metodo di apprendimento per rinforzo (RL) post-addestramento che insegna esplicitamente ai modelli di sovrascrivere traiettorie di ragionamento errate e di reindirizzarsi verso risposte sicure e utili. RECAP si addestra su una miscela di prefills CoT contro-allineati generati sinteticamente e prompt standard, non richiede costi aggiuntivi di addestramento o modifiche oltre al classico apprendimento per rinforzo con feedback umano (RLHF), e migliora significativamente la sicurezza e la robustezza contro jailbreak, riduce il rifiuto eccessivo e preserva le capacità di ragionamento di base, tutto mantenendo il budget di token di inferenza. Un'analisi approfondita mostra che i modelli addestrati con RECAP si impegnano in un'autoriflessione più frequente e rimangono robusti sotto attacchi adattativi, preservando la sicurezza anche dopo ripetuti tentativi di sovrascrivere il loro ragionamento.

English

Large reasoning models (LRMs) "think" by generating structured chain-of-thought (CoT) before producing a final answer, yet they still lack the ability to reason critically about safety alignment and are easily biased when a flawed premise is injected into their thought process. We propose RECAP (Robust Safety Alignment via Counter-Aligned Prefilling), a principled reinforcement learning (RL) method for post-training that explicitly teaches models to override flawed reasoning trajectories and reroute to safe and helpful responses. RECAP trains on a mixture of synthetically generated counter-aligned CoT prefills and standard prompts, requires no additional training cost or modifications beyond vanilla reinforcement learning from human feedback (RLHF), and substantially improves safety and jailbreak robustness, reduces overrefusal, and preserves core reasoning capability -- all while maintaining inference token budget. Extensive analysis shows that RECAP-trained models engage in self-reflection more frequently and remain robust under adaptive attacks, preserving safety even after repeated attempts to override their reasoning.