Übertragbarkeit für allgemeines Denken: Ein automatisiertes Curriculum für Multi-Domain-RLVR

Zusammenfassung

Verstärkungslernen mit überprüfbaren Belohnungen (RLVR) wurde von domänenspezifischem Training auf mehrdimensionale Reasoning-Suiten erweitert, die Mathematik, Programmierung und Wissenschaft abdecken. Allerdings ist der Trainingslehrplan (wie oft jede Domäne abgetastet wird) typischerweise festgelegt oder manuell angepasst, obwohl Reasoning-Fähigkeiten ungleichmäßig zwischen den Domänen übertragen werden. Bestehende lernbarkeitsbasierte Curricula passen sich an, wo die Policy gerade Verbesserungen zeigt, sind jedoch blind dafür, ob ein Gradientenschritt in der ausgewählten Domäne den übrigen Domänen zugutekommt. In dieser Arbeit schlagen wir das Transfer-Aware Curriculum (TAC) vor, ein banditenartiges Online-Curriculum, das Domänen priorisiert, deren Aktualisierungen breitflächig den Rest der Trainingssuite verbessern. TAC verwendet bereits im RL-Training erzeugte Signale: domänenspezifische Advantage-Werte erfassen die lokale Lernbarkeit, und projizierte Gradienten, die aus dem gerade berechneten GRPO-Schritt stammen, schätzen die domänenübergreifende Transferierbarkeit über die Ausrichtung der Gradientengeometrie – zu vernachlässigbaren Kosten (Laufzeit-Overhead <1 %). Über eine sechs Domänen umfassende Reasoning-Suite hinweg erzielt TAC die beste Makro-Durchschnittsgenauigkeit sowohl bei Qwen3-1.7B als auch bei Llama3.2-3B, übertrifft dabei proportionales zufälliges Sampling, einen manuell erstellten Zeitplan und einen reinen Lernbarkeits-Banditen und verbessert sich gegenüber letzterem um bis zu 2,8 Punkte (10 % relativ). Ablationen zeigen, dass die Leistung stark abfällt, wenn der Transferierbarkeitsterm entfernt wird, und TAC bleibt robust bei ungleichgewichtigen Trainingsmischungen, bei denen lernbarkeitsbasierte Curricula sich übermäßig auf dominante Domänen konzentrieren. Unsere Ergebnisse etablieren domänenübergreifende Transferierbarkeit als ein zentrales Signal für die Curriculumsgestaltung in mehrdimensionalem RLVR.

English

Reinforcement learning with verifiable rewards (RLVR) has been extended from single-domain training to multi-domain reasoning suites spanning mathematics, programming, and science. However, the training curriculum (how often each domain is sampled) is typically fixed or hand-tuned, even though reasoning skills transfer unevenly across domains. Existing learnability-based curricula adapt to where the policy is currently improving, but are blind to whether a gradient step on the selected domain benefits the remaining domains. In this paper, we propose Transfer-Aware Curriculum (TAC), a bandit-style online curriculum that prioritizes domains whose updates broadly benefit the rest of the training suite. TAC repurposes signals already produced by RL training: per-domain advantages capture local learnability, and projected gradients, taken from the GRPO step being computed, estimate cross-domain transferability via gradient-geometry alignment, at negligible cost (<1% wall-clock overhead). Across a six-domain reasoning suite, TAC achieves the best macro-averaged accuracy on both Qwen3-1.7B and Llama3.2-3B, outperforming proportional random sampling, a hand-designed schedule, and a learnability-only bandit, and improving over the last of these by up to 2.8 points (10% relative). Ablations show performance degrades sharply when the transferability term is removed, and TAC remains robust on imbalanced training mixtures where learnability-only curricula over-commit to dominant domains. Our findings establish cross-domain transferability as a key signal for curriculum design in multi-domain RLVR.