Крупные модели рассуждений лучше обучаются согласованию на основе ошибочного мышления.

Large Reasoning Models Learn Better Alignment from Flawed Thinking

October 1, 2025

Авторы: ShengYun Peng, Eric Smith, Ivan Evtimov, Song Jiang, Pin-Yu Chen, Hongyuan Zhan, Haozhu Wang, Duen Horng Chau, Mahesh Pasupuleti, Jianfeng Chi

cs.AI

Аннотация

Крупные модели рассуждений (LRMs) "мыслят", генерируя структурированные цепочки рассуждений (CoT) перед выдачей окончательного ответа, однако они всё ещё не способны критически оценивать вопросы безопасности и легко подвержены влиянию, если в их процесс мышления внедрена ошибочная предпосылка. Мы предлагаем RECAP (Robust Safety Alignment via Counter-Aligned Prefilling) — принципиальный метод обучения с подкреплением (RL) для посттренировки, который явно учит модели переопределять ошибочные траектории рассуждений и перенаправлять их на безопасные и полезные ответы. RECAP обучается на смеси синтетически сгенерированных предзаполнений CoT с контр-выравниванием и стандартных запросов, не требует дополнительных затрат на обучение или изменений, выходящих за рамки обычного обучения с подкреплением на основе обратной связи от человека (RLHF), и значительно улучшает безопасность и устойчивость к взлому, снижает чрезмерный отказ и сохраняет основную способность к рассуждению — всё это при сохранении бюджета токенов на вывод. Обширный анализ показывает, что модели, обученные с помощью RECAP, чаще занимаются саморефлексией и остаются устойчивыми к адаптивным атакам, сохраняя безопасность даже после многократных попыток переопределить их рассуждения.

English

Large reasoning models (LRMs) "think" by generating structured chain-of-thought (CoT) before producing a final answer, yet they still lack the ability to reason critically about safety alignment and are easily biased when a flawed premise is injected into their thought process. We propose RECAP (Robust Safety Alignment via Counter-Aligned Prefilling), a principled reinforcement learning (RL) method for post-training that explicitly teaches models to override flawed reasoning trajectories and reroute to safe and helpful responses. RECAP trains on a mixture of synthetically generated counter-aligned CoT prefills and standard prompts, requires no additional training cost or modifications beyond vanilla reinforcement learning from human feedback (RLHF), and substantially improves safety and jailbreak robustness, reduces overrefusal, and preserves core reasoning capability -- all while maintaining inference token budget. Extensive analysis shows that RECAP-trained models engage in self-reflection more frequently and remain robust under adaptive attacks, preserving safety even after repeated attempts to override their reasoning.