Les grands modèles de raisonnement apprennent un meilleur alignement à partir de pensées imparfaites.

papers.abstract

Les grands modèles de raisonnement (LRM) "pensent" en générant des chaînes de pensée structurées (CoT) avant de produire une réponse finale, mais ils manquent encore de la capacité à raisonner de manière critique sur l'alignement de la sécurité et sont facilement biaisés lorsqu'une prémisse erronée est injectée dans leur processus de pensée. Nous proposons RECAP (Alignement Robuste de la Sécurité via Préremplissage Contre-Aligné), une méthode d'apprentissage par renforcement (RL) post-entraînement qui enseigne explicitement aux modèles à surmonter les trajectoires de raisonnement erronées et à rediriger vers des réponses sûres et utiles. RECAP s'entraîne sur un mélange de préremplissages CoT contre-alignés générés synthétiquement et de prompts standards, ne nécessite aucun coût d'entraînement supplémentaire ni de modifications au-delà de l'apprentissage par renforcement à partir des retours humains (RLHF) classique, et améliore considérablement la sécurité et la robustesse aux jailbreaks, réduit le sur-refus, et préserve les capacités de raisonnement fondamentales — tout en maintenant le budget de tokens d'inférence. Une analyse approfondie montre que les modèles entraînés avec RECAP s'engagent plus fréquemment dans une auto-réflexion et restent robustes face aux attaques adaptatives, préservant la sécurité même après des tentatives répétées de contournement de leur raisonnement.

English

Large reasoning models (LRMs) "think" by generating structured chain-of-thought (CoT) before producing a final answer, yet they still lack the ability to reason critically about safety alignment and are easily biased when a flawed premise is injected into their thought process. We propose RECAP (Robust Safety Alignment via Counter-Aligned Prefilling), a principled reinforcement learning (RL) method for post-training that explicitly teaches models to override flawed reasoning trajectories and reroute to safe and helpful responses. RECAP trains on a mixture of synthetically generated counter-aligned CoT prefills and standard prompts, requires no additional training cost or modifications beyond vanilla reinforcement learning from human feedback (RLHF), and substantially improves safety and jailbreak robustness, reduces overrefusal, and preserves core reasoning capability -- all while maintaining inference token budget. Extensive analysis shows that RECAP-trained models engage in self-reflection more frequently and remain robust under adaptive attacks, preserving safety even after repeated attempts to override their reasoning.

Les grands modèles de raisonnement apprennent un meilleur alignement à partir de pensées imparfaites.

Large Reasoning Models Learn Better Alignment from Flawed Thinking

papers.abstract

Support