Des chaînes de raisonnement aux sous-problèmes vérifiables : l'apprentissage par renforcement curriculaire permet l'attribution de crédit pour le raisonnement des LLM

Résumé

L'apprentissage par renforcement à partir de récompenses vérifiables (RLVR) a montré un fort potentiel pour le raisonnement des LLM, mais le RLVR basé sur les résultats reste inefficace sur les problèmes difficiles car les déploiements de réponses finales correctes sont rares et l'attribution de crédit au niveau de l'échantillon ne peut pas utiliser les progrès partiels des tentatives échouées. Nous introduisons SCRL (Apprentissage par Renforcement Curriculaire par Sous-problèmes), un cadre d'apprentissage par renforcement curriculaire qui dérive des sous-problèmes vérifiables à partir de chaînes de raisonnement de référence et fixe le sous-problème final comme étant le problème original. Cela transforme les progrès partiels sur les problèmes difficiles en signaux d'apprentissage vérifiables. Sur le plan algorithmique, SCRL utilise une normalisation au niveau des sous-problèmes, qui normalise les récompenses indépendamment à chaque position de sous-problème et attribue les avantages résultants aux segments de réponse correspondants, permettant une attribution de crédit plus fine sans grilles d'évaluation externes ni modèles de récompense. Notre analyse montre que les programmes d'études par sous-problèmes extraient les problèmes difficiles des zones mortes de gradient, avec des gains relatifs plus importants à mesure que le problème original devient plus difficile. Sur sept bancs d'essai de raisonnement mathématique, SCRL surpasse les références solides d'apprentissage curriculaire, améliorant la précision moyenne par rapport à GRPO de +4,1 points sur Qwen3-4B-Base et de +1,9 points sur Qwen3-14B-Base. Sur AIME24, AIME25 et IMO-Bench, SCRL améliore en outre le pass@1 de +3,7 points et le pass@64 de +4,6 points sur Qwen3-4B-Base, indiquant une meilleure exploration des problèmes de raisonnement difficiles.

English

Reinforcement learning from verifiable rewards (RLVR) has shown strong promise for LLM reasoning, but outcome-based RLVR remains inefficient on hard problems because correct final-answer rollouts are rare and sample-level credit assignment cannot use partial progress in failed attempts. We introduce SCRL (Subproblem Curriculum Reinforcement Learning), a curriculum RL framework that derives verifiable subproblems from reference reasoning chains and fixes the final subproblem as the original problem. This turns partial progress on hard problems into verifiable learning signals. Algorithmically, SCRL uses subproblem-level normalization, which normalizes rewards independently at each subproblem position and assigns the resulting advantages to the corresponding answer spans, enabling finer-grained credit assignment without external rubrics or reward models. Our analysis shows that subproblem curricula lift hard problems out of gradient dead zones, with larger relative gains as the original problem becomes harder. Across seven mathematical reasoning benchmarks, SCRL outperforms strong curriculum-learning baselines, improving average accuracy over GRPO by +4.1 points on Qwen3-4B-Base and +1.9 points on Qwen3-14B-Base. On AIME24, AIME25, and IMO-Bench, SCRL further improves pass@1 by +3.7 points and pass@64 by +4.6 points on Qwen3-4B-Base, indicating better exploration on hard reasoning problems.