¿Puede un dominio ayudar a otros? Un estudio centrado en datos sobre el razonamiento multidominio mediante aprendizaje por refuerzo

Can One Domain Help Others? A Data-Centric Study on Multi-Domain Reasoning via Reinforcement Learning

July 23, 2025

Autores: Yu Li, Zhuoshi Pan, Honglin Lin, Mengyuan Sun, Conghui He, Lijun Wu

cs.AI

Resumen

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR, por sus siglas en inglés) ha surgido como un paradigma poderoso para mejorar las capacidades de razonamiento de los LLM (Modelos de Lenguaje de Gran Escala). La investigación existente se ha centrado predominantemente en dominios de razonamiento aislados, como la resolución de problemas matemáticos, tareas de programación o razonamiento lógico. Sin embargo, los escenarios de razonamiento del mundo real exigen inherentemente una aplicación integrada de múltiples habilidades cognitivas. A pesar de esto, la interacción entre estas habilidades de razonamiento bajo el aprendizaje por refuerzo sigue siendo poco comprendida. Para cerrar esta brecha, presentamos una investigación sistemática del razonamiento multidominio dentro del marco RLVR, enfocándonos explícitamente en tres dominios principales: razonamiento matemático, generación de código y resolución de acertijos lógicos. Realizamos un estudio integral que comprende cuatro componentes clave: (1) Aprovechando el algoritmo GRPO y la familia de modelos Qwen-2.5-7B, nuestro estudio evalúa exhaustivamente las mejoras en el dominio y las capacidades de generalización cruzada de los modelos cuando se entrenan con conjuntos de datos de un solo dominio. (2) Además, examinamos las interacciones complejas, incluyendo mejoras mutuas y conflictos, que surgen durante el entrenamiento cruzado combinado. (3) Para comprender mejor la influencia del Ajuste Fino Supervisado (SFT) en el aprendizaje por refuerzo, también analizamos y comparamos las diferencias de rendimiento entre los modelos base y los modelos instructivos bajo configuraciones idénticas de RL. (4) Asimismo, profundizamos en detalles críticos del entrenamiento de RL, explorando sistemáticamente los impactos de las estrategias de aprendizaje curricular, variaciones en el diseño de recompensas y factores específicos del lenguaje. A través de experimentos extensos, nuestros resultados ofrecen insights significativos sobre las dinámicas que gobiernan las interacciones entre dominios, revelando factores clave que influyen tanto en el rendimiento especializado como en la generalización del razonamiento. Estos hallazgos proporcionan una guía valiosa para optimizar las metodologías de RL con el fin de fomentar capacidades de razonamiento integrales y multidominio en los LLM.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has emerged as a powerful paradigm for enhancing the reasoning capabilities of LLMs. Existing research has predominantly concentrated on isolated reasoning domains such as mathematical problem-solving, coding tasks, or logical reasoning. However, real world reasoning scenarios inherently demand an integrated application of multiple cognitive skills. Despite this, the interplay among these reasoning skills under reinforcement learning remains poorly understood. To bridge this gap, we present a systematic investigation of multi-domain reasoning within the RLVR framework, explicitly focusing on three primary domains: mathematical reasoning, code generation, and logical puzzle solving. We conduct a comprehensive study comprising four key components: (1) Leveraging the GRPO algorithm and the Qwen-2.5-7B model family, our study thoroughly evaluates the models' in-domain improvements and cross-domain generalization capabilities when trained on single-domain datasets. (2) Additionally, we examine the intricate interactions including mutual enhancements and conflicts that emerge during combined cross-domain training. (3) To further understand the influence of SFT on RL, we also analyze and compare performance differences between base and instruct models under identical RL configurations. (4) Furthermore, we delve into critical RL training details, systematically exploring the impacts of curriculum learning strategies, variations in reward design, and language-specific factors. Through extensive experiments, our results offer significant insights into the dynamics governing domain interactions, revealing key factors influencing both specialized and generalizable reasoning performance. These findings provide valuable guidance for optimizing RL methodologies to foster comprehensive, multi-domain reasoning capabilities in LLMs.