От цепочек рассуждений к проверяемым подзадачам: курикулумное обучение с подкреплением обеспечивает назначение кредитов для рассуждений LLM

Аннотация

Обучение с подкреплением на основе верифицируемых вознаграждений (RLVR) демонстрирует многообещающие результаты для рассуждений больших языковых моделей, однако RLVR на основе результатов остаётся неэффективным для сложных задач из-за редкости правильных итоговых решений и невозможности использования частичного прогресса в неудачных попытках при распределении оценки на уровне примеров. Мы представляем SCRL (куррикулумное обучение с подкреплением на основе подзадач) — фреймворк куррикулумного обучения, который извлекает верифицируемые подзадачи из эталонных цепочек рассуждений и фиксирует итоговую подзадачу как исходную задачу. Это превращает частичный прогресс в сложных задачах в верифицируемые обучающие сигналы. Алгоритмически SCRL использует нормировку на уровне подзадач: вознаграждения независимо нормализуются для каждой позиции подзадачи, а полученные преимущества присваиваются соответствующим сегментам ответа, что обеспечивает более детальное распределение оценки без внешних рубрик или моделей вознаграждения. Наш анализ показывает, что куррикулумы подзадач выводят сложные задачи из «мёртвых зон» градиента, причём относительный выигрыш возрастает по мере усложнения исходной задачи. На семи бенчмарках математических рассуждений SCRL превосходит сильные базовые подходы куррикулумного обучения, улучшая среднюю точность по сравнению с GRPO на +4,1 пункта для Qwen3-4B-Base и на +1,9 пункта для Qwen3-14B-Base. На AIME24, AIME25 и IMO-Bench SCRL дополнительно улучшает pass@1 на +3,7 пункта и pass@64 на +4,6 пункта для Qwen3-4B-Base, что свидетельствует о более эффективном исследовании сложных задач рассуждений.

English

Reinforcement learning from verifiable rewards (RLVR) has shown strong promise for LLM reasoning, but outcome-based RLVR remains inefficient on hard problems because correct final-answer rollouts are rare and sample-level credit assignment cannot use partial progress in failed attempts. We introduce SCRL (Subproblem Curriculum Reinforcement Learning), a curriculum RL framework that derives verifiable subproblems from reference reasoning chains and fixes the final subproblem as the original problem. This turns partial progress on hard problems into verifiable learning signals. Algorithmically, SCRL uses subproblem-level normalization, which normalizes rewards independently at each subproblem position and assigns the resulting advantages to the corresponding answer spans, enabling finer-grained credit assignment without external rubrics or reward models. Our analysis shows that subproblem curricula lift hard problems out of gradient dead zones, with larger relative gains as the original problem becomes harder. Across seven mathematical reasoning benchmarks, SCRL outperforms strong curriculum-learning baselines, improving average accuracy over GRPO by +4.1 points on Qwen3-4B-Base and +1.9 points on Qwen3-14B-Base. On AIME24, AIME25, and IMO-Bench, SCRL further improves pass@1 by +3.7 points and pass@64 by +4.6 points on Qwen3-4B-Base, indicating better exploration on hard reasoning problems.