Переносимость для общих рассуждений: автоматизированный учебный план для многодоменного RLVR

Аннотация

Обучение с подкреплением с верифицируемыми вознаграждениями (RLVR) расширено с однодоменного обучения до многодоменных наборов для рассуждений, охватывающих математику, программирование и естественные науки. Однако учебный план (частота выборки каждого домена) обычно фиксирован или настраивается вручную, даже несмотря на то, что навыки рассуждения неравномерно передаются между доменами. Существующие учебные планы, основанные на обучаемости, адаптируются к тому, в каких доменах политика в данный момент улучшается, но не учитывают, приносит ли градиентный шаг по выбранному домену пользу остальным доменам. В этой статье мы предлагаем Transfer-Aware Curriculum (TAC) — онлайн-учебный план в стиле бандита, который отдаёт приоритет доменам, чьи обновления широко благоприятствуют остальной части обучающего набора. TAC повторно использует сигналы, уже получаемые в процессе RL-обучения: преимущества по доменам отражают локальную обучаемость, а проецированные градиенты, взятые из шага GRPO, оценивают кросс-доменную переносимость через согласование геометрии градиентов с минимальными затратами (<1% накладных расходов по времени). На шестидоменном наборе для рассуждений TAC достигает наилучшей макро-усреднённой точности как на Qwen3-1.7B, так и на Llama3.2-3B, превосходя пропорциональную случайную выборку, ручной план и бандит, основанный только на обучаемости, при этом улучшая последний на величину до 2,8 пункта (10% относительного улучшения). Абляционные эксперименты показывают, что производительность резко падает при удалении компонента переносимости, и TAC остаётся надёжным на несбалансированных обучающих смесях, где планы, основанные только на обучаемости, чрезмерно сосредотачиваются на доминирующих доменах. Наши результаты устанавливают кросс-доменную переносимость как ключевой сигнал для разработки учебных планов в многодоменном RLVR.

English

Reinforcement learning with verifiable rewards (RLVR) has been extended from single-domain training to multi-domain reasoning suites spanning mathematics, programming, and science. However, the training curriculum (how often each domain is sampled) is typically fixed or hand-tuned, even though reasoning skills transfer unevenly across domains. Existing learnability-based curricula adapt to where the policy is currently improving, but are blind to whether a gradient step on the selected domain benefits the remaining domains. In this paper, we propose Transfer-Aware Curriculum (TAC), a bandit-style online curriculum that prioritizes domains whose updates broadly benefit the rest of the training suite. TAC repurposes signals already produced by RL training: per-domain advantages capture local learnability, and projected gradients, taken from the GRPO step being computed, estimate cross-domain transferability via gradient-geometry alignment, at negligible cost (<1% wall-clock overhead). Across a six-domain reasoning suite, TAC achieves the best macro-averaged accuracy on both Qwen3-1.7B and Llama3.2-3B, outperforming proportional random sampling, a hand-designed schedule, and a learnability-only bandit, and improving over the last of these by up to 2.8 points (10% relative). Ablations show performance degrades sharply when the transferability term is removed, and TAC remains robust on imbalanced training mixtures where learnability-only curricula over-commit to dominant domains. Our findings establish cross-domain transferability as a key signal for curriculum design in multi-domain RLVR.