일반 추론을 위한 전이 가능성: 다중 도메인 RLVR의 자동화된 커리큘럼

초록

검증 가능한 보상을 통한 강화 학습(RLVR)은 단일 도메인 훈련에서 수학, 프로그래밍, 과학을 포괄하는 다중 도메인 추론 제품군으로 확장되었습니다. 그러나 훈련 커리큘럼(각 도메인이 샘플링되는 빈도)은 일반적으로 고정되거나 수동으로 조정되며, 추론 능력이 도메인 간에 불균등하게 전이됨에도 불구하고 그렇습니다. 기존의 학습 가능성 기반 커리큘럼은 정책이 현재 개선되고 있는 곳에 적응하지만, 선택된 도메인에 대한 기울기 단계가 나머지 도메인에 이익이 되는지 여부는 고려하지 않습니다. 본 논문에서는 업데이트가 나머지 훈련 제품군에 광범위하게 이익이 되는 도메인을 우선시하는 밴딧 스타일의 온라인 커리큘럼인 전이 인식 커리큘럼(TAC)을 제안합니다. TAC는 RL 훈련에서 이미 생성된 신호를 재사용합니다: 도메인별 이점은 지역적 학습 가능성을 포착하고, GRPO 단계에서 계산된 투영 기울기는 기울기-기하학 정렬을 통해 교차 도메인 전이 가능성을 추정하며, 이는 무시할 수 있는 비용(<1% 벽시계 오버헤드)으로 이루어집니다. 6개 도메인 추론 제품군에서 TAC는 Qwen3-1.7B와 Llama3.2-3B 모두에서 최고의 매크로 평균 정확도를 달성하여, 비례 무작위 샘플링, 수동 설계 스케줄, 학습 가능성 전용 밴딧을 능가하며, 마지막 방법 대비 최대 2.8포인트(10% 상대적) 향상되었습니다. 제거 실험에서 전이 가능성 항목이 제거될 때 성능이 급격히 저하되며, TAC는 학습 가능성 전용 커리큘럼이 지배적인 도메인에 과도하게 집중하는 불균형 훈련 혼합에서도 견고함을 유지합니다. 본 연구 결과는 교차 도메인 전이 가능성을 다중 도메인 RLVR에서 커리큘럼 설계를 위한 핵심 신호로 확립합니다.

English

Reinforcement learning with verifiable rewards (RLVR) has been extended from single-domain training to multi-domain reasoning suites spanning mathematics, programming, and science. However, the training curriculum (how often each domain is sampled) is typically fixed or hand-tuned, even though reasoning skills transfer unevenly across domains. Existing learnability-based curricula adapt to where the policy is currently improving, but are blind to whether a gradient step on the selected domain benefits the remaining domains. In this paper, we propose Transfer-Aware Curriculum (TAC), a bandit-style online curriculum that prioritizes domains whose updates broadly benefit the rest of the training suite. TAC repurposes signals already produced by RL training: per-domain advantages capture local learnability, and projected gradients, taken from the GRPO step being computed, estimate cross-domain transferability via gradient-geometry alignment, at negligible cost (<1% wall-clock overhead). Across a six-domain reasoning suite, TAC achieves the best macro-averaged accuracy on both Qwen3-1.7B and Llama3.2-3B, outperforming proportional random sampling, a hand-designed schedule, and a learnability-only bandit, and improving over the last of these by up to 2.8 points (10% relative). Ablations show performance degrades sharply when the transferability term is removed, and TAC remains robust on imbalanced training mixtures where learnability-only curricula over-commit to dominant domains. Our findings establish cross-domain transferability as a key signal for curriculum design in multi-domain RLVR.