汎用推論のための転移可能性：マルチドメインRLVRの自動カリキュラム

要旨

検証可能な報酬を用いた強化学習（RLVR）は、単一ドメインの学習から、数学、プログラミング、科学にわたるマルチドメイン推論スイートへと拡張されてきた。しかし、学習カリキュラム（各ドメインがどの程度の頻度でサンプリングされるか）は、推論スキルがドメイン間で不均一に伝達されるにもかかわらず、通常は固定または手動で調整されている。既存の学習可能性に基づくカリキュラムは、ポリシーが現在改善しているドメインに適応するが、選択したドメインでの勾配更新が残りのドメインに利益をもたらすかどうかについては考慮していない。本論文では、Transfer-Aware Curriculum（TAC）を提案する。これはバンディット型のオンラインカリキュラムであり、その更新が訓練スイート全体に広く利益をもたらすドメインを優先する。TACは、RL訓練で既に生成される信号を再利用する。すなわち、ドメインごとのアドバンテージは局所的な学習可能性を捉え、GRPOステップで計算される投影勾配は、勾配幾何アライメントを介してドメイン間の転送可能性を推定し、計算コストは無視できる（壁時計時間の1%未満）。6ドメインの推論スイートにおいて、TACはQwen3-1.7BおよびLlama3.2-3Bの両方で最高のマクロ平均精度を達成し、比例ランダムサンプリング、手動設計のスケジュール、学習可能性のみのバンディットを上回り、後者と比較して最大2.8ポイント（10%相対）の改善を示した。アブレーション実験では、転送可能性項を除去すると性能が急激に低下し、学習可能性のみのカリキュラムが支配的なドメインに過度に集中する不均衡な訓練混合においても、TACはロバスト性を維持した。本研究は、マルチドメインRLVRにおけるカリキュラム設計において、ドメイン間転送可能性が重要な信号であることを確立するものである。

English

Reinforcement learning with verifiable rewards (RLVR) has been extended from single-domain training to multi-domain reasoning suites spanning mathematics, programming, and science. However, the training curriculum (how often each domain is sampled) is typically fixed or hand-tuned, even though reasoning skills transfer unevenly across domains. Existing learnability-based curricula adapt to where the policy is currently improving, but are blind to whether a gradient step on the selected domain benefits the remaining domains. In this paper, we propose Transfer-Aware Curriculum (TAC), a bandit-style online curriculum that prioritizes domains whose updates broadly benefit the rest of the training suite. TAC repurposes signals already produced by RL training: per-domain advantages capture local learnability, and projected gradients, taken from the GRPO step being computed, estimate cross-domain transferability via gradient-geometry alignment, at negligible cost (<1% wall-clock overhead). Across a six-domain reasoning suite, TAC achieves the best macro-averaged accuracy on both Qwen3-1.7B and Llama3.2-3B, outperforming proportional random sampling, a hand-designed schedule, and a learnability-only bandit, and improving over the last of these by up to 2.8 points (10% relative). Ablations show performance degrades sharply when the transferability term is removed, and TAC remains robust on imbalanced training mixtures where learnability-only curricula over-commit to dominant domains. Our findings establish cross-domain transferability as a key signal for curriculum design in multi-domain RLVR.