RuleReasoner: ドメイン認識型動的サンプリングによる強化型ルールベース推論

RuleReasoner: Reinforced Rule-based Reasoning via Domain-aware Dynamic Sampling

June 10, 2025

著者: Yang Liu, Jiaqi Li, Zilong Zheng

cs.AI

要旨

ルールベース推論は、推論における基本的な問題の一つとして認識されてきたが、現実世界のアプリケーションにおけるルール形式、タイプ、複雑さの多様性は深刻な課題を提起している。最近の研究では、大規模推論モデル（LRM）が顕著な推論能力を持ち、その性能が強化学習（RL）によって大幅に向上することが示されている。しかし、小規模推論モデル（SRM）が多様なタスクやドメインにわたって堅牢な汎化能力を持ちながら、ルールベース推論を効果的に学習できるかどうかは未解決の問題である。この問題に対処するため、我々は「Reinforced Rule-based Reasoning」（別名RuleReasoner）を提案する。これは、精選された多様なタスクと新しいドメイン認識型動的サンプリングアプローチを用いて、ルールベース推論を行うシンプルかつ効果的な手法である。具体的には、RuleReasonerは、過去の報酬に基づいて異なるドメインのサンプリング重みを更新することで、各トレーニングバッチを再サンプリングする。これにより、ドメイン拡張と柔軟なオンライン学習スケジュールが促進され、既存手法で必要とされる事前の人間によるミックストレーニングレシピが不要となる。インディストリビューション（ID）およびアウトオブディストリビューション（OOD）ベンチマークでの実証評価では、RuleReasonerが最先端のLRMを大幅に上回る結果を示した（8つのIDタスクで平均4.1%、3つのOODタスクで平均10.4%の差をOpenAI-o1に対して達成）。特に、我々のアプローチは、従来のRL向け動的サンプリング手法と比較しても高い計算効率を示している。

English

Rule-based reasoning has been acknowledged as one of the fundamental problems in reasoning, while deviations in rule formats, types, and complexity in real-world applications pose severe challenges. Recent studies have shown that large reasoning models (LRMs) have remarkable reasoning capabilities, and their performance is substantially enhanced by reinforcement learning (RL). However, it remains an open question whether small reasoning models (SRMs) can learn rule-based reasoning effectively with robust generalization across diverse tasks and domains. To address this, we introduce Reinforced Rule-based Reasoning, a.k.a. RuleReasoner, a simple yet effective method to conduct rule-based reasoning via a wide collection of curated tasks and a novel domain-aware dynamic sampling approach. Specifically, RuleReasoner resamples each training batch by updating the sampling weights of different domains based on historical rewards. This facilitates domain augmentation and flexible online learning schedules for RL, obviating the need for pre-hoc human-engineered mix-training recipes used in existing methods. Empirical evaluations on in-distribution (ID) and out-of-distribution (OOD) benchmarks reveal that RuleReasoner outperforms frontier LRMs by a significant margin (Delta4.1% average points on eight ID tasks and Delta10.4% average points on three OOD tasks over OpenAI-o1). Notably, our approach also exhibits higher computational efficiency compared to prior dynamic sampling methods for RL.