Transferibilidad para el razonamiento general: un currículo automatizado para RLVR multi-dominio

Resumen

El aprendizaje por refuerzo con recompensas verificables (RLVR) se ha extendido del entrenamiento en un solo dominio a conjuntos de razonamiento multidisciplinarios que abarcan matemáticas, programación y ciencias. Sin embargo, el currículo de entrenamiento (con qué frecuencia se muestrea cada dominio) suele ser fijo o ajustado manualmente, a pesar de que las habilidades de razonamiento se transfieren de manera desigual entre dominios. Los currículos basados en aprendibilidad existentes se adaptan a donde la política está mejorando actualmente, pero ignoran si un paso de gradiente en el dominio seleccionado beneficia a los dominios restantes. En este artículo, proponemos el Currículo Consciente de Transferencia (TAC), un currículo en línea tipo bandido que prioriza dominios cuyas actualizaciones benefician ampliamente al resto del conjunto de entrenamiento. TAC reutiliza señales ya producidas por el entrenamiento RL: las ventajas por dominio capturan la aprendibilidad local, y los gradientes proyectados, tomados del paso GRPO que se está calculando, estiman la transferibilidad entre dominios mediante la alineación geométrica de gradientes, con un costo insignificante (<1% de sobrecarga de tiempo real). En un conjunto de seis dominios de razonamiento, TAC logra la mejor precisión macro-promediada tanto en Qwen3-1.7B como en Llama3.2-3B, superando al muestreo aleatorio proporcional, a un cronograma diseñado manualmente y a un bandido basado solo en aprendibilidad, y mejorando respecto a este último hasta en 2.8 puntos (10% relativo). Las ablaciones muestran que el rendimiento se degrada bruscamente cuando se elimina el término de transferibilidad, y TAC se mantiene robusto en mezclas de entrenamiento desbalanceadas donde los currículos solo de aprendibilidad se comprometen en exceso con los dominios dominantes. Nuestros hallazgos establecen la transferibilidad entre dominios como una señal clave para el diseño de currículos en RLVR multidisciplinario.

English

Reinforcement learning with verifiable rewards (RLVR) has been extended from single-domain training to multi-domain reasoning suites spanning mathematics, programming, and science. However, the training curriculum (how often each domain is sampled) is typically fixed or hand-tuned, even though reasoning skills transfer unevenly across domains. Existing learnability-based curricula adapt to where the policy is currently improving, but are blind to whether a gradient step on the selected domain benefits the remaining domains. In this paper, we propose Transfer-Aware Curriculum (TAC), a bandit-style online curriculum that prioritizes domains whose updates broadly benefit the rest of the training suite. TAC repurposes signals already produced by RL training: per-domain advantages capture local learnability, and projected gradients, taken from the GRPO step being computed, estimate cross-domain transferability via gradient-geometry alignment, at negligible cost (<1% wall-clock overhead). Across a six-domain reasoning suite, TAC achieves the best macro-averaged accuracy on both Qwen3-1.7B and Llama3.2-3B, outperforming proportional random sampling, a hand-designed schedule, and a learnability-only bandit, and improving over the last of these by up to 2.8 points (10% relative). Ablations show performance degrades sharply when the transferability term is removed, and TAC remains robust on imbalanced training mixtures where learnability-only curricula over-commit to dominant domains. Our findings establish cross-domain transferability as a key signal for curriculum design in multi-domain RLVR.