RuleReasoner: 도메인 인식 동적 샘플링을 통한 강화된 규칙 기반 추론

RuleReasoner: Reinforced Rule-based Reasoning via Domain-aware Dynamic Sampling

June 10, 2025

저자: Yang Liu, Jiaqi Li, Zilong Zheng

cs.AI

초록

규칙 기반 추론은 추론의 근본적인 문제 중 하나로 인식되어 왔으며, 실제 애플리케이션에서 규칙 형식, 유형 및 복잡성의 편차는 심각한 도전 과제를 제기합니다. 최근 연구에 따르면 대규모 추론 모델(LRMs)은 뛰어난 추론 능력을 보여주며, 강화 학습(RL)을 통해 그 성능이 크게 향상됩니다. 그러나 소규모 추론 모델(SRMs)이 다양한 작업과 도메인에 걸쳐 견고한 일반화를 통해 규칙 기반 추론을 효과적으로 학습할 수 있는지 여부는 여전히 미해결된 질문입니다. 이를 해결하기 위해 우리는 Reinforced Rule-based Reasoning, 일명 RuleReasoner를 소개합니다. 이는 다양한 큐레이팅된 작업과 새로운 도메인 인식 동적 샘플링 접근법을 통해 규칙 기반 추론을 수행하는 간단하지만 효과적인 방법입니다. 구체적으로, RuleReasoner는 역사적 보상을 기반으로 다양한 도메인의 샘플링 가중치를 업데이트하여 각 훈련 배치를 재샘플링합니다. 이는 도메인 증강과 RL을 위한 유연한 온라인 학습 스케줄을 촉진하며, 기존 방법에서 사용된 사전에 인간이 설계한 혼합 훈련 레시피의 필요성을 없앱니다. 인-분포(ID) 및 아웃-오브-분포(OOD) 벤치마크에 대한 실험적 평가는 RuleReasoner가 최첨단 LRMs을 상당한 차이로 능가함을 보여줍니다(8개의 ID 작업에서 평균 4.1% 포인트, 3개의 OOD 작업에서 OpenAI-o1 대비 평균 10.4% 포인트). 특히, 우리의 접근법은 이전의 RL 동적 샘플링 방법에 비해 더 높은 계산 효율성을 보여줍니다.

English

Rule-based reasoning has been acknowledged as one of the fundamental problems in reasoning, while deviations in rule formats, types, and complexity in real-world applications pose severe challenges. Recent studies have shown that large reasoning models (LRMs) have remarkable reasoning capabilities, and their performance is substantially enhanced by reinforcement learning (RL). However, it remains an open question whether small reasoning models (SRMs) can learn rule-based reasoning effectively with robust generalization across diverse tasks and domains. To address this, we introduce Reinforced Rule-based Reasoning, a.k.a. RuleReasoner, a simple yet effective method to conduct rule-based reasoning via a wide collection of curated tasks and a novel domain-aware dynamic sampling approach. Specifically, RuleReasoner resamples each training batch by updating the sampling weights of different domains based on historical rewards. This facilitates domain augmentation and flexible online learning schedules for RL, obviating the need for pre-hoc human-engineered mix-training recipes used in existing methods. Empirical evaluations on in-distribution (ID) and out-of-distribution (OOD) benchmarks reveal that RuleReasoner outperforms frontier LRMs by a significant margin (Delta4.1% average points on eight ID tasks and Delta10.4% average points on three OOD tasks over OpenAI-o1). Notably, our approach also exhibits higher computational efficiency compared to prior dynamic sampling methods for RL.