Conditionnement par préfixe d'échec pour l'entraînement de modèles de raisonnement sur des problèmes saturés

Training Reasoning Models on Saturated Problems via Failure-Prefix Conditioning

January 28, 2026

papers.authors: Minwu Kim, Safal Shrestha, Keith Ross

cs.AI

papers.abstract

Le Renforcement de l'Apprentissage avec Récompenses Vérifiables (RLVR) a considérablement amélioré les capacités de raisonnement des grands modèles de langage (LLM), mais l'entraînement stagne souvent lorsque les problèmes deviennent saturés. Nous identifions le défi central comme étant la faible accessibilité des échecs informatifs : les signaux d'apprentissage existent mais sont rarement rencontrés lors des déroulements standards. Pour résoudre ce problème, nous proposons le conditionnement par préfixe d'échec, une méthode simple et efficace pour apprendre à partir de problèmes saturés. Plutôt que de partir de la question originale, notre approche réalloue l'exploration en conditionnant l'entraînement sur des préfixes dérivés de trajectoires de raisonnement incorrectes rares, exposant ainsi le modèle à des états propices à l'échec. Nous observons que le conditionnement par préfixe d'échec produit des gains de performance équivalents à ceux d'un entraînement sur des problèmes de difficulté moyenne, tout en préservant l'efficacité des tokens. De plus, nous analysons la robustesse du modèle, constatant que notre méthode réduit la dégradation des performances sous des préfixes d'échec trompeurs, bien qu'avec un léger compromis dans l'adhésion au raisonnement correct initial. Enfin, nous démontrons qu'une approche itérative, qui actualise les préfixes d'échec pendant l'entraînement, permet des gains supplémentaires après les plateaux de performance. Globalement, nos résultats suggèrent que le conditionnement par préfixe d'échec offre une voie efficace pour prolonger l'entraînement RLVR sur des problèmes saturés.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has substantially improved the reasoning abilities of large language models (LLMs), yet training often stalls as problems become saturated. We identify the core challenge as the poor accessibility of informative failures: learning signals exist but are rarely encountered during standard rollouts. To address this, we propose failure-prefix conditioning, a simple and effective method for learning from saturated problems. Rather than starting from the original question, our approach reallocates exploration by conditioning training on prefixes derived from rare incorrect reasoning trajectories, thereby exposing the model to failure-prone states. We observe that failure-prefix conditioning yields performance gains matching those of training on medium-difficulty problems, while preserving token efficiency. Furthermore, we analyze the model's robustness, finding that our method reduces performance degradation under misleading failure prefixes, albeit with a mild trade-off in adherence to correct early reasoning. Finally, we demonstrate that an iterative approach, which refreshes failure prefixes during training, unlocks additional gains after performance plateaus. Overall, our results suggest that failure-prefix conditioning offers an effective pathway to extend RLVR training on saturated problems.