Um Domínio Pode Ajudar Outros? Um Estudo Centrado em Dados sobre Raciocínio Multi-Domínio via Aprendizado por Reforço

Can One Domain Help Others? A Data-Centric Study on Multi-Domain Reasoning via Reinforcement Learning

July 23, 2025

Autores: Yu Li, Zhuoshi Pan, Honglin Lin, Mengyuan Sun, Conghui He, Lijun Wu

cs.AI

Resumo

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) emergiu como um paradigma poderoso para aprimorar as capacidades de raciocínio dos LLMs (Large Language Models). Pesquisas existentes concentraram-se predominantemente em domínios de raciocínio isolados, como resolução de problemas matemáticos, tarefas de codificação ou raciocínio lógico. No entanto, cenários de raciocínio do mundo real exigem, por natureza, uma aplicação integrada de múltiplas habilidades cognitivas. Apesar disso, a interação entre essas habilidades de raciocínio sob o aprendizado por reforço permanece pouco compreendida. Para preencher essa lacuna, apresentamos uma investigação sistemática do raciocínio em múltiplos domínios dentro do framework RLVR, com foco explícito em três domínios principais: raciocínio matemático, geração de código e resolução de quebra-cabeças lógicos. Realizamos um estudo abrangente composto por quatro componentes-chave: (1) Utilizando o algoritmo GRPO e a família de modelos Qwen-2.5-7B, nosso estudo avalia minuciosamente as melhorias dos modelos dentro do domínio e suas capacidades de generalização entre domínios quando treinados em conjuntos de dados de domínio único. (2) Além disso, examinamos as interações complexas, incluindo aprimoramentos mútuos e conflitos que surgem durante o treinamento combinado entre domínios. (3) Para entender melhor a influência do SFT (Supervised Fine-Tuning) no RL, também analisamos e comparamos as diferenças de desempenho entre modelos base e modelos de instrução sob configurações idênticas de RL. (4) Adicionalmente, exploramos detalhes críticos do treinamento de RL, investigando sistematicamente os impactos de estratégias de aprendizagem curricular, variações no design de recompensas e fatores específicos da linguagem. Por meio de experimentos extensivos, nossos resultados oferecem insights significativos sobre as dinâmicas que governam as interações entre domínios, revelando fatores-chave que influenciam tanto o desempenho especializado quanto a capacidade de generalização do raciocínio. Essas descobertas fornecem orientações valiosas para otimizar metodologias de RL, visando fomentar capacidades abrangentes de raciocínio em múltiplos domínios em LLMs.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has emerged as a powerful paradigm for enhancing the reasoning capabilities of LLMs. Existing research has predominantly concentrated on isolated reasoning domains such as mathematical problem-solving, coding tasks, or logical reasoning. However, real world reasoning scenarios inherently demand an integrated application of multiple cognitive skills. Despite this, the interplay among these reasoning skills under reinforcement learning remains poorly understood. To bridge this gap, we present a systematic investigation of multi-domain reasoning within the RLVR framework, explicitly focusing on three primary domains: mathematical reasoning, code generation, and logical puzzle solving. We conduct a comprehensive study comprising four key components: (1) Leveraging the GRPO algorithm and the Qwen-2.5-7B model family, our study thoroughly evaluates the models' in-domain improvements and cross-domain generalization capabilities when trained on single-domain datasets. (2) Additionally, we examine the intricate interactions including mutual enhancements and conflicts that emerge during combined cross-domain training. (3) To further understand the influence of SFT on RL, we also analyze and compare performance differences between base and instruct models under identical RL configurations. (4) Furthermore, we delve into critical RL training details, systematically exploring the impacts of curriculum learning strategies, variations in reward design, and language-specific factors. Through extensive experiments, our results offer significant insights into the dynamics governing domain interactions, revealing key factors influencing both specialized and generalizable reasoning performance. These findings provide valuable guidance for optimizing RL methodologies to foster comprehensive, multi-domain reasoning capabilities in LLMs.