Van redeneerketens naar verifieerbare deelproblemen: Curriculum-versterkingsleren maakt krediettoewijzing mogelijk voor LLM-redeneren

Samenvatting

Reinforcement learning van verifieerbare beloningen (RLVR) heeft veelbelovende resultaten laten zien voor het redeneren van grote taalmodellen (LLM's), maar uitkomstgebaseerde RLVR blijft inefficiënt voor moeilijke problemen omdat correcte eindantwoord-rollouts zeldzaam zijn en krediettoewijzing op steekproefniveau geen gebruik kan maken van gedeeltelijke voortgang in mislukte pogingen. We introduceren SCRL (Subproblem Curriculum Reinforcement Learning), een curriculum-RL-framework dat verifieerbare deelproblemen afleidt uit referentieredeneringsketens en het laatste deelprobleem vaststelt als het oorspronkelijke probleem. Dit zet gedeeltelijke voortgang op moeilijke problemen om in verifieerbare leersignalen. Algoritmisch maakt SCRL gebruik van normalisatie op deelprobleemniveau, die beloningen onafhankelijk normaliseert op elke deelprobleempositie en de resulterende voordelen toewijst aan de overeenkomstige antwoordsegmenten, wat een fijnmazigere krediettoewijzing mogelijk maakt zonder externe beoordelingscriteria of beloningsmodellen. Onze analyse toont aan dat curriculum voor deelproblemen moeilijke problemen uit de dode zones van de gradient tilt, met grotere relatieve winsten naarmate het oorspronkelijke probleem moeilijker wordt. Over zeven wiskundige redeneringsbenchmarks heen presteert SCRL beter dan sterke curriculum-leerbaselines, met een verbetering van de gemiddelde nauwkeurigheid ten opzichte van GRPO van +4,1 punten op Qwen3-4B-Base en +1,9 punten op Qwen3-14B-Base. Op AIME24, AIME25 en IMO-Bench verbetert SCRL bovendien de pass@1 met +3,7 punten en de pass@64 met +4,6 punten op Qwen3-4B-Base, wat wijst op een betere exploratie van moeilijke redeneringsproblemen.

English

Reinforcement learning from verifiable rewards (RLVR) has shown strong promise for LLM reasoning, but outcome-based RLVR remains inefficient on hard problems because correct final-answer rollouts are rare and sample-level credit assignment cannot use partial progress in failed attempts. We introduce SCRL (Subproblem Curriculum Reinforcement Learning), a curriculum RL framework that derives verifiable subproblems from reference reasoning chains and fixes the final subproblem as the original problem. This turns partial progress on hard problems into verifiable learning signals. Algorithmically, SCRL uses subproblem-level normalization, which normalizes rewards independently at each subproblem position and assigns the resulting advantages to the corresponding answer spans, enabling finer-grained credit assignment without external rubrics or reward models. Our analysis shows that subproblem curricula lift hard problems out of gradient dead zones, with larger relative gains as the original problem becomes harder. Across seven mathematical reasoning benchmarks, SCRL outperforms strong curriculum-learning baselines, improving average accuracy over GRPO by +4.1 points on Qwen3-4B-Base and +1.9 points on Qwen3-14B-Base. On AIME24, AIME25, and IMO-Bench, SCRL further improves pass@1 by +3.7 points and pass@64 by +4.6 points on Qwen3-4B-Base, indicating better exploration on hard reasoning problems.