RuleReasoner: Усиленное правило-ориентированное рассуждение через доменно-ориентированное динамическое сэмплирование

RuleReasoner: Reinforced Rule-based Reasoning via Domain-aware Dynamic Sampling

June 10, 2025

Авторы: Yang Liu, Jiaqi Li, Zilong Zheng

cs.AI

Аннотация

Правило-ориентированное рассуждение признано одной из фундаментальных проблем в области рассуждений, при этом отклонения в форматах, типах и сложности правил в реальных приложениях создают серьезные вызовы. Недавние исследования показали, что крупные модели рассуждений (LRMs) обладают выдающимися способностями к рассуждению, а их производительность значительно улучшается с помощью обучения с подкреплением (RL). Однако остается открытым вопрос, могут ли небольшие модели рассуждений (SRMs) эффективно обучаться правило-ориентированному рассуждению с устойчивой обобщаемостью на разнообразные задачи и домены. Для решения этой проблемы мы представляем Reinforced Rule-based Reasoning, также известный как RuleReasoner, — простой, но эффективный метод для проведения правило-ориентированного рассуждения с использованием широкого набора тщательно отобранных задач и нового доменно-ориентированного динамического подхода к выборке. В частности, RuleReasoner перевыбирает каждый обучающий пакет, обновляя веса выборки для различных доменов на основе исторических наград. Это способствует доменному расширению и гибкому онлайн-обучению для RL, устраняя необходимость в заранее разработанных человеком рецептах смешанного обучения, используемых в существующих методах. Эмпирические оценки на бенчмарках in-distribution (ID) и out-of-distribution (OOD) показывают, что RuleReasoner значительно превосходит передовые LRMs (на 4,1% в среднем на восьми ID-задачах и на 10,4% в среднем на трех OOD-задачах по сравнению с OpenAI-o1). Примечательно, что наш подход также демонстрирует более высокую вычислительную эффективность по сравнению с предыдущими методами динамической выборки для RL.

English

Rule-based reasoning has been acknowledged as one of the fundamental problems in reasoning, while deviations in rule formats, types, and complexity in real-world applications pose severe challenges. Recent studies have shown that large reasoning models (LRMs) have remarkable reasoning capabilities, and their performance is substantially enhanced by reinforcement learning (RL). However, it remains an open question whether small reasoning models (SRMs) can learn rule-based reasoning effectively with robust generalization across diverse tasks and domains. To address this, we introduce Reinforced Rule-based Reasoning, a.k.a. RuleReasoner, a simple yet effective method to conduct rule-based reasoning via a wide collection of curated tasks and a novel domain-aware dynamic sampling approach. Specifically, RuleReasoner resamples each training batch by updating the sampling weights of different domains based on historical rewards. This facilitates domain augmentation and flexible online learning schedules for RL, obviating the need for pre-hoc human-engineered mix-training recipes used in existing methods. Empirical evaluations on in-distribution (ID) and out-of-distribution (OOD) benchmarks reveal that RuleReasoner outperforms frontier LRMs by a significant margin (Delta4.1% average points on eight ID tasks and Delta10.4% average points on three OOD tasks over OpenAI-o1). Notably, our approach also exhibits higher computational efficiency compared to prior dynamic sampling methods for RL.