Kan één domein anderen helpen? Een data-gerichte studie over redeneren over meerdere domeinen via reinforcement learning

Can One Domain Help Others? A Data-Centric Study on Multi-Domain Reasoning via Reinforcement Learning

July 23, 2025

Auteurs: Yu Li, Zhuoshi Pan, Honglin Lin, Mengyuan Sun, Conghui He, Lijun Wu

cs.AI

Samenvatting

Reinforcement Learning met Verifieerbare Beloningen (RLVR) is naar voren gekomen als een krachtig paradigma om de redeneervaardigheden van LLM's te verbeteren. Bestaand onderzoek heeft zich voornamelijk gericht op geïsoleerde redeneerdomeinen, zoals wiskundig probleemoplossen, programmeertaken of logisch redeneren. Echter vereisen realistische redeneerscenario's van nature een geïntegreerde toepassing van meerdere cognitieve vaardigheden. Desondanks is de interactie tussen deze redeneervaardigheden onder reinforcement learning nog steeds slecht begrepen. Om deze kloof te overbruggen, presenteren we een systematisch onderzoek naar multi-domein redeneren binnen het RLVR-raamwerk, met expliciete focus op drie primaire domeinen: wiskundig redeneren, codegeneratie en het oplossen van logische puzzels. We voeren een uitgebreide studie uit bestaande uit vier belangrijke componenten: (1) Door gebruik te maken van het GRPO-algoritme en de Qwen-2.5-7B-modellenfamilie, evalueert onze studie grondig de in-domein verbeteringen en de cross-domein generalisatiecapaciteiten van de modellen wanneer ze getraind zijn op single-domein datasets. (2) Daarnaast onderzoeken we de complexe interacties, waaronder wederzijdse verbeteringen en conflicten, die ontstaan tijdens gecombineerde cross-domein training. (3) Om de invloed van SFT op RL verder te begrijpen, analyseren en vergelijken we ook prestatieverschillen tussen basis- en instructiemodellen onder identieke RL-configuraties. (4) Verder duiken we in kritische RL-trainingsdetails, waarbij we systematisch de impact onderzoeken van curriculumleerstrategieën, variaties in beloningsontwerp en taal-specifieke factoren. Door middel van uitgebreide experimenten bieden onze resultaten belangrijke inzichten in de dynamiek die domeininteracties beheerst, en onthullen we sleutelfactoren die zowel gespecialiseerde als generaliseerbare redeneerprestaties beïnvloeden. Deze bevindingen bieden waardevolle richtlijnen voor het optimaliseren van RL-methodologieën om uitgebreide, multi-domein redeneervaardigheden in LLM's te bevorderen.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has emerged as a powerful paradigm for enhancing the reasoning capabilities of LLMs. Existing research has predominantly concentrated on isolated reasoning domains such as mathematical problem-solving, coding tasks, or logical reasoning. However, real world reasoning scenarios inherently demand an integrated application of multiple cognitive skills. Despite this, the interplay among these reasoning skills under reinforcement learning remains poorly understood. To bridge this gap, we present a systematic investigation of multi-domain reasoning within the RLVR framework, explicitly focusing on three primary domains: mathematical reasoning, code generation, and logical puzzle solving. We conduct a comprehensive study comprising four key components: (1) Leveraging the GRPO algorithm and the Qwen-2.5-7B model family, our study thoroughly evaluates the models' in-domain improvements and cross-domain generalization capabilities when trained on single-domain datasets. (2) Additionally, we examine the intricate interactions including mutual enhancements and conflicts that emerge during combined cross-domain training. (3) To further understand the influence of SFT on RL, we also analyze and compare performance differences between base and instruct models under identical RL configurations. (4) Furthermore, we delve into critical RL training details, systematically exploring the impacts of curriculum learning strategies, variations in reward design, and language-specific factors. Through extensive experiments, our results offer significant insights into the dynamics governing domain interactions, revealing key factors influencing both specialized and generalizable reasoning performance. These findings provide valuable guidance for optimizing RL methodologies to foster comprehensive, multi-domain reasoning capabilities in LLMs.