Grandes Modelos de Raciocínio Aprendem Melhor Alinhamento a partir de Pensamentos Imperfeitos

Large Reasoning Models Learn Better Alignment from Flawed Thinking

October 1, 2025

Autores: ShengYun Peng, Eric Smith, Ivan Evtimov, Song Jiang, Pin-Yu Chen, Hongyuan Zhan, Haozhu Wang, Duen Horng Chau, Mahesh Pasupuleti, Jianfeng Chi

cs.AI

Resumo

Modelos de raciocínio em larga escala (LRMs) "pensam" gerando cadeias de pensamento estruturadas (CoT) antes de produzir uma resposta final, mas ainda carecem da capacidade de raciocinar criticamente sobre o alinhamento de segurança e são facilmente tendenciosos quando uma premissa falha é injetada em seu processo de pensamento. Propomos o RECAP (Alinhamento de Segurança Robusto via Preenchimento Contrário Alinhado), um método de aprendizado por reforço (RL) pós-treinamento que ensina explicitamente os modelos a substituir trajetórias de raciocínio falhas e redirecionar para respostas seguras e úteis. O RECAP é treinado com uma mistura de preenchimentos de CoT contrários alinhados gerados sinteticamente e prompts padrão, não requer custos adicionais de treinamento ou modificações além do aprendizado por reforço com feedback humano (RLHF) tradicional, e melhora substancialmente a segurança e a robustez contra jailbreaks, reduz a recusa excessiva e preserva a capacidade central de raciocínio — tudo isso mantendo o orçamento de tokens de inferência. Análises extensas mostram que modelos treinados com RECAP engajam-se em autorreflexão com mais frequência e permanecem robustos sob ataques adaptativos, preservando a segurança mesmo após tentativas repetidas de sobrepor seu raciocínio.

English

Large reasoning models (LRMs) "think" by generating structured chain-of-thought (CoT) before producing a final answer, yet they still lack the ability to reason critically about safety alignment and are easily biased when a flawed premise is injected into their thought process. We propose RECAP (Robust Safety Alignment via Counter-Aligned Prefilling), a principled reinforcement learning (RL) method for post-training that explicitly teaches models to override flawed reasoning trajectories and reroute to safe and helpful responses. RECAP trains on a mixture of synthetically generated counter-aligned CoT prefills and standard prompts, requires no additional training cost or modifications beyond vanilla reinforcement learning from human feedback (RLHF), and substantially improves safety and jailbreak robustness, reduces overrefusal, and preserves core reasoning capability -- all while maintaining inference token budget. Extensive analysis shows that RECAP-trained models engage in self-reflection more frequently and remain robust under adaptive attacks, preserving safety even after repeated attempts to override their reasoning.