Transférabilité pour le raisonnement général : Un curriculum automatisé pour le RLVR multi-domaine

Résumé

L’apprentissage par renforcement avec récompenses vérifiables (RLVR) a été étendu de l’entraînement mono-domaine à des suites de raisonnement multi-domaines couvrant les mathématiques, la programmation et les sciences. Cependant, le curriculum d’entraînement (la fréquence d’échantillonnage de chaque domaine) est généralement fixe ou ajusté manuellement, alors même que les compétences en raisonnement se transfèrent de manière inégale entre les domaines. Les curriculums existants basés sur l’apprenabilité s’adaptent là où la politique progresse actuellement, mais ignorent si une étape de gradient sur le domaine sélectionné bénéficie aux autres domaines. Dans cet article, nous proposons le Transfer-Aware Curriculum (TAC), un curriculum en ligne de type bandit qui priorise les domaines dont les mises à jour profitent largement au reste de la suite d’entraînement. TAC réutilise des signaux déjà produits par l’entraînement RL : les avantages par domaine capturent l’apprenabilité locale, et les gradients projetés, issus de l’étape GRPO en cours de calcul, estiment la transférabilité inter-domaines via l’alignement géométrique des gradients, à un coût négligeable (<1 % de surcharge en temps réel). Sur une suite de raisonnement à six domaines, TAC atteint la meilleure précision macro-moyenne à la fois sur Qwen3-1.7B et Llama3.2-3B, surpassant l’échantillonnage aléatoire proportionnel, un planning conçu manuellement, et un bandit basé uniquement sur l’apprenabilité, avec une amélioration allant jusqu’à 2,8 points (10 % en relatif) par rapport à ce dernier. Les ablations montrent une dégradation marquée des performances lorsque le terme de transférabilité est supprimé, et TAC reste robuste sur des mélanges d’entraînement déséquilibrés où les curriculums basés uniquement sur l’apprenabilité se concentrent excessivement sur les domaines dominants. Nos résultats établissent la transférabilité inter-domaines comme un signal clé pour la conception de curriculums dans le RLVR multi-domaines.

English

Reinforcement learning with verifiable rewards (RLVR) has been extended from single-domain training to multi-domain reasoning suites spanning mathematics, programming, and science. However, the training curriculum (how often each domain is sampled) is typically fixed or hand-tuned, even though reasoning skills transfer unevenly across domains. Existing learnability-based curricula adapt to where the policy is currently improving, but are blind to whether a gradient step on the selected domain benefits the remaining domains. In this paper, we propose Transfer-Aware Curriculum (TAC), a bandit-style online curriculum that prioritizes domains whose updates broadly benefit the rest of the training suite. TAC repurposes signals already produced by RL training: per-domain advantages capture local learnability, and projected gradients, taken from the GRPO step being computed, estimate cross-domain transferability via gradient-geometry alignment, at negligible cost (<1% wall-clock overhead). Across a six-domain reasoning suite, TAC achieves the best macro-averaged accuracy on both Qwen3-1.7B and Llama3.2-3B, outperforming proportional random sampling, a hand-designed schedule, and a learnability-only bandit, and improving over the last of these by up to 2.8 points (10% relative). Ablations show performance degrades sharply when the transferability term is removed, and TAC remains robust on imbalanced training mixtures where learnability-only curricula over-commit to dominant domains. Our findings establish cross-domain transferability as a key signal for curriculum design in multi-domain RLVR.