Un Dominio Può Aiutare gli Altri? Uno Studio Centrato sui Dati sul Ragionamento Multi-Dominio tramite Apprendimento per Rinforzo

Can One Domain Help Others? A Data-Centric Study on Multi-Domain Reasoning via Reinforcement Learning

July 23, 2025

Autori: Yu Li, Zhuoshi Pan, Honglin Lin, Mengyuan Sun, Conghui He, Lijun Wu

cs.AI

Abstract

Il Reinforcement Learning con Ricompense Verificabili (RLVR) è emerso come un paradigma potente per migliorare le capacità di ragionamento dei modelli linguistici di grandi dimensioni (LLM). La ricerca esistente si è concentrata prevalentemente su domini di ragionamento isolati, come la risoluzione di problemi matematici, compiti di programmazione o ragionamento logico. Tuttavia, gli scenari di ragionamento nel mondo reale richiedono intrinsecamente un'applicazione integrata di molteplici abilità cognitive. Nonostante ciò, l'interazione tra queste abilità di ragionamento sotto il reinforcement learning rimane poco compresa. Per colmare questa lacuna, presentiamo un'indagine sistematica sul ragionamento multi-dominio all'interno del framework RLVR, concentrandoci esplicitamente su tre domini principali: ragionamento matematico, generazione di codice e risoluzione di puzzle logici. Condurremo uno studio completo che comprende quattro componenti chiave: (1) Sfruttando l'algoritmo GRPO e la famiglia di modelli Qwen-2.5-7B, il nostro studio valuta approfonditamente i miglioramenti in-dominio e le capacità di generalizzazione cross-dominio dei modelli quando addestrati su dataset di singoli domini. (2) Inoltre, esaminiamo le complesse interazioni, inclusi i miglioramenti reciproci e i conflitti che emergono durante l'addestramento combinato cross-dominio. (3) Per comprendere ulteriormente l'influenza del SFT (Supervised Fine-Tuning) sul RL, analizziamo e confrontiamo anche le differenze di prestazione tra modelli base e modelli instruct sotto configurazioni RL identiche. (4) Inoltre, approfondiamo dettagli critici dell'addestramento RL, esplorando sistematicamente gli impatti delle strategie di curriculum learning, delle variazioni nel design delle ricompense e dei fattori specifici del linguaggio. Attraverso esperimenti estesi, i nostri risultati offrono intuizioni significative sulle dinamiche che governano le interazioni tra domini, rivelando fattori chiave che influenzano sia le prestazioni di ragionamento specializzato che quelle generalizzabili. Questi risultati forniscono una guida preziosa per ottimizzare le metodologie RL al fine di promuovere capacità di ragionamento completo e multi-dominio negli LLM.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has emerged as a powerful paradigm for enhancing the reasoning capabilities of LLMs. Existing research has predominantly concentrated on isolated reasoning domains such as mathematical problem-solving, coding tasks, or logical reasoning. However, real world reasoning scenarios inherently demand an integrated application of multiple cognitive skills. Despite this, the interplay among these reasoning skills under reinforcement learning remains poorly understood. To bridge this gap, we present a systematic investigation of multi-domain reasoning within the RLVR framework, explicitly focusing on three primary domains: mathematical reasoning, code generation, and logical puzzle solving. We conduct a comprehensive study comprising four key components: (1) Leveraging the GRPO algorithm and the Qwen-2.5-7B model family, our study thoroughly evaluates the models' in-domain improvements and cross-domain generalization capabilities when trained on single-domain datasets. (2) Additionally, we examine the intricate interactions including mutual enhancements and conflicts that emerge during combined cross-domain training. (3) To further understand the influence of SFT on RL, we also analyze and compare performance differences between base and instruct models under identical RL configurations. (4) Furthermore, we delve into critical RL training details, systematically exploring the impacts of curriculum learning strategies, variations in reward design, and language-specific factors. Through extensive experiments, our results offer significant insights into the dynamics governing domain interactions, revealing key factors influencing both specialized and generalizable reasoning performance. These findings provide valuable guidance for optimizing RL methodologies to foster comprehensive, multi-domain reasoning capabilities in LLMs.