Los Modelos de Razonamiento de Gran Escala Aprenden Mejor la Alineación a partir de Pensamientos Defectuosos

Large Reasoning Models Learn Better Alignment from Flawed Thinking

October 1, 2025

Autores: ShengYun Peng, Eric Smith, Ivan Evtimov, Song Jiang, Pin-Yu Chen, Hongyuan Zhan, Haozhu Wang, Duen Horng Chau, Mahesh Pasupuleti, Jianfeng Chi

cs.AI

Resumen

Los modelos de razonamiento a gran escala (LRMs, por sus siglas en inglés) "piensan" generando cadenas de pensamiento estructuradas (CoT, por sus siglas en inglés) antes de producir una respuesta final, pero aún carecen de la capacidad de razonar críticamente sobre la alineación de seguridad y son fácilmente sesgados cuando se introduce una premisa defectuosa en su proceso de pensamiento. Proponemos RECAP (Alineación Robusta de Seguridad mediante Prellenado Contralineado), un método de aprendizaje por refuerzo (RL, por sus siglas en inglés) basado en principios para el posentrenamiento que enseña explícitamente a los modelos a anular trayectorias de razonamiento defectuosas y redirigirse hacia respuestas seguras y útiles. RECAP se entrena con una mezcla de prellenados CoT contralineados generados sintéticamente y prompts estándar, no requiere costos adicionales de entrenamiento ni modificaciones más allá del aprendizaje por refuerzo con retroalimentación humana (RLHF, por sus siglas en inglés) básico, y mejora sustancialmente la seguridad y la robustez frente a jailbreaks, reduce el exceso de rechazo y preserva la capacidad de razonamiento central, todo ello manteniendo el presupuesto de tokens de inferencia. Un análisis exhaustivo muestra que los modelos entrenados con RECAP realizan autoevaluaciones con mayor frecuencia y mantienen su robustez frente a ataques adaptativos, preservando la seguridad incluso después de intentos repetidos de anular su razonamiento.

English

Large reasoning models (LRMs) "think" by generating structured chain-of-thought (CoT) before producing a final answer, yet they still lack the ability to reason critically about safety alignment and are easily biased when a flawed premise is injected into their thought process. We propose RECAP (Robust Safety Alignment via Counter-Aligned Prefilling), a principled reinforcement learning (RL) method for post-training that explicitly teaches models to override flawed reasoning trajectories and reroute to safe and helpful responses. RECAP trains on a mixture of synthetically generated counter-aligned CoT prefills and standard prompts, requires no additional training cost or modifications beyond vanilla reinforcement learning from human feedback (RLHF), and substantially improves safety and jailbreak robustness, reduces overrefusal, and preserves core reasoning capability -- all while maintaining inference token budget. Extensive analysis shows that RECAP-trained models engage in self-reflection more frequently and remain robust under adaptive attacks, preserving safety even after repeated attempts to override their reasoning.