Может ли одна предметная область помочь другим? Исследование, ориентированное на данные, в области межпредметного рассуждения с использованием обучения с подкреплением

Can One Domain Help Others? A Data-Centric Study on Multi-Domain Reasoning via Reinforcement Learning

July 23, 2025

Авторы: Yu Li, Zhuoshi Pan, Honglin Lin, Mengyuan Sun, Conghui He, Lijun Wu

cs.AI

Аннотация

Обучение с подкреплением с верифицируемыми наградами (RLVR) стало мощной парадигмой для улучшения способностей крупных языковых моделей (LLM) к рассуждению. Существующие исследования в основном сосредоточены на изолированных областях рассуждений, таких как решение математических задач, программирование или логическое мышление. Однако реальные сценарии рассуждений требуют интегрированного применения множества когнитивных навыков. Несмотря на это, взаимодействие между этими навыками в рамках обучения с подкреплением остается малоизученным. Чтобы устранить этот пробел, мы представляем систематическое исследование многодоменного рассуждения в рамках RLVR, уделяя особое внимание трем основным областям: математическому рассуждению, генерации кода и решению логических головоломок. Наше исследование включает четыре ключевых компонента: (1) Используя алгоритм GRPO и семейство моделей Qwen-2.5-7B, мы тщательно оцениваем улучшения моделей внутри доменов и их способность к обобщению между доменами при обучении на однодоменных данных. (2) Кроме того, мы исследуем сложные взаимодействия, включая взаимное усиление и конфликты, которые возникают при совместном обучении на данных из разных доменов. (3) Чтобы глубже понять влияние SFT на RL, мы также анализируем и сравниваем различия в производительности между базовыми и инструктивными моделями при одинаковых настройках RL. (4) Кроме того, мы углубляемся в важные детали обучения с подкреплением, систематически исследуя влияние стратегий обучения по учебному плану, вариаций в дизайне наград и языковых факторов. Результаты наших экспериментов предоставляют значительные инсайты в динамику взаимодействия доменов, выявляя ключевые факторы, влияющие как на специализированную, так и на обобщаемую производительность рассуждений. Эти выводы дают ценное руководство для оптимизации методологий RL с целью развития всесторонних, многодоменных способностей к рассуждению в LLM.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has emerged as a powerful paradigm for enhancing the reasoning capabilities of LLMs. Existing research has predominantly concentrated on isolated reasoning domains such as mathematical problem-solving, coding tasks, or logical reasoning. However, real world reasoning scenarios inherently demand an integrated application of multiple cognitive skills. Despite this, the interplay among these reasoning skills under reinforcement learning remains poorly understood. To bridge this gap, we present a systematic investigation of multi-domain reasoning within the RLVR framework, explicitly focusing on three primary domains: mathematical reasoning, code generation, and logical puzzle solving. We conduct a comprehensive study comprising four key components: (1) Leveraging the GRPO algorithm and the Qwen-2.5-7B model family, our study thoroughly evaluates the models' in-domain improvements and cross-domain generalization capabilities when trained on single-domain datasets. (2) Additionally, we examine the intricate interactions including mutual enhancements and conflicts that emerge during combined cross-domain training. (3) To further understand the influence of SFT on RL, we also analyze and compare performance differences between base and instruct models under identical RL configurations. (4) Furthermore, we delve into critical RL training details, systematically exploring the impacts of curriculum learning strategies, variations in reward design, and language-specific factors. Through extensive experiments, our results offer significant insights into the dynamics governing domain interactions, revealing key factors influencing both specialized and generalizable reasoning performance. These findings provide valuable guidance for optimizing RL methodologies to foster comprehensive, multi-domain reasoning capabilities in LLMs.