Un domaine peut-il en aider un autre ? Une étude centrée sur les données concernant le raisonnement multi-domaines via l'apprentissage par renforcement

Can One Domain Help Others? A Data-Centric Study on Multi-Domain Reasoning via Reinforcement Learning

July 23, 2025

papers.authors: Yu Li, Zhuoshi Pan, Honglin Lin, Mengyuan Sun, Conghui He, Lijun Wu

cs.AI

papers.abstract

L'apprentissage par renforcement avec récompenses vérifiables (RLVR) est apparu comme un paradigme puissant pour améliorer les capacités de raisonnement des LLM. Les recherches existantes se sont principalement concentrées sur des domaines de raisonnement isolés tels que la résolution de problèmes mathématiques, les tâches de codage ou le raisonnement logique. Cependant, les scénarios de raisonnement du monde réel exigent intrinsèquement une application intégrée de multiples compétences cognitives. Malgré cela, l'interaction entre ces compétences de raisonnement sous l'apprentissage par renforcement reste mal comprise. Pour combler cette lacune, nous présentons une investigation systématique du raisonnement multi-domaines dans le cadre du RLVR, en nous concentrant explicitement sur trois domaines principaux : le raisonnement mathématique, la génération de code et la résolution de puzzles logiques. Nous menons une étude approfondie comprenant quatre composantes clés : (1) En exploitant l'algorithme GRPO et la famille de modèles Qwen-2.5-7B, notre étude évalue minutieusement les améliorations intra-domaines et les capacités de généralisation inter-domaines des modèles lorsqu'ils sont entraînés sur des ensembles de données mono-domaines. (2) De plus, nous examinons les interactions complexes, y compris les améliorations mutuelles et les conflits qui émergent lors d'un entraînement combiné inter-domaines. (3) Pour mieux comprendre l'influence du SFT sur le RL, nous analysons et comparons également les différences de performance entre les modèles de base et les modèles instructifs sous des configurations de RL identiques. (4) Enfin, nous explorons en détail les aspects critiques de l'entraînement RL, en examinant systématiquement les impacts des stratégies d'apprentissage curriculaire, les variations dans la conception des récompenses et les facteurs spécifiques à la langue. À travers des expériences approfondies, nos résultats offrent des insights significatifs sur les dynamiques régissant les interactions entre domaines, révélant des facteurs clés influençant à la fois les performances de raisonnement spécialisées et généralisables. Ces découvertes fournissent des orientations précieuses pour optimiser les méthodologies RL afin de favoriser des capacités de raisonnement multi-domaines complètes dans les LLM.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has emerged as a powerful paradigm for enhancing the reasoning capabilities of LLMs. Existing research has predominantly concentrated on isolated reasoning domains such as mathematical problem-solving, coding tasks, or logical reasoning. However, real world reasoning scenarios inherently demand an integrated application of multiple cognitive skills. Despite this, the interplay among these reasoning skills under reinforcement learning remains poorly understood. To bridge this gap, we present a systematic investigation of multi-domain reasoning within the RLVR framework, explicitly focusing on three primary domains: mathematical reasoning, code generation, and logical puzzle solving. We conduct a comprehensive study comprising four key components: (1) Leveraging the GRPO algorithm and the Qwen-2.5-7B model family, our study thoroughly evaluates the models' in-domain improvements and cross-domain generalization capabilities when trained on single-domain datasets. (2) Additionally, we examine the intricate interactions including mutual enhancements and conflicts that emerge during combined cross-domain training. (3) To further understand the influence of SFT on RL, we also analyze and compare performance differences between base and instruct models under identical RL configurations. (4) Furthermore, we delve into critical RL training details, systematically exploring the impacts of curriculum learning strategies, variations in reward design, and language-specific factors. Through extensive experiments, our results offer significant insights into the dynamics governing domain interactions, revealing key factors influencing both specialized and generalizable reasoning performance. These findings provide valuable guidance for optimizing RL methodologies to foster comprehensive, multi-domain reasoning capabilities in LLMs.