RuleReasoner: Ragionamento Basato su Regole Rinforzato tramite Campionamento Dinamico Consapevole del Dominio

RuleReasoner: Reinforced Rule-based Reasoning via Domain-aware Dynamic Sampling

June 10, 2025

Autori: Yang Liu, Jiaqi Li, Zilong Zheng

cs.AI

Abstract

Il ragionamento basato su regole è stato riconosciuto come uno dei problemi fondamentali nel ragionamento, mentre le deviazioni nei formati, tipi e complessità delle regole nelle applicazioni del mondo reale pongono sfide significative. Studi recenti hanno dimostrato che i modelli di ragionamento di grandi dimensioni (LRM) possiedono capacità di ragionamento notevoli, e le loro prestazioni sono notevolmente migliorate dall'apprendimento per rinforzo (RL). Tuttavia, rimane una questione aperta se i modelli di ragionamento di piccole dimensioni (SRM) possano apprendere efficacemente il ragionamento basato su regole con una generalizzazione robusta attraverso diversi compiti e domini. Per affrontare questo problema, introduciamo il Ragionamento Basato su Regole Rinforzato, noto anche come RuleReasoner, un metodo semplice ma efficace per condurre il ragionamento basato su regole attraverso una vasta raccolta di compiti curati e un nuovo approccio di campionamento dinamico consapevole del dominio. Nello specifico, RuleReasoner ricampiona ogni batch di addestramento aggiornando i pesi di campionamento di diversi domini basandosi sulle ricompense storiche. Questo facilita l'aumento del dominio e flessibili programmi di apprendimento online per RL, eliminando la necessità di ricette di mix-training predefinite e ingegnerizzate dall'uomo utilizzate nei metodi esistenti. Valutazioni empiriche su benchmark in-distribuzione (ID) e out-of-distribution (OOD) rivelano che RuleReasoner supera i migliori LRM con un margine significativo (Delta4.1% punti medi su otto compiti ID e Delta10.4% punti medi su tre compiti OOD rispetto a OpenAI-o1). In particolare, il nostro approccio mostra anche una maggiore efficienza computazionale rispetto ai precedenti metodi di campionamento dinamico per RL.

English

Rule-based reasoning has been acknowledged as one of the fundamental problems in reasoning, while deviations in rule formats, types, and complexity in real-world applications pose severe challenges. Recent studies have shown that large reasoning models (LRMs) have remarkable reasoning capabilities, and their performance is substantially enhanced by reinforcement learning (RL). However, it remains an open question whether small reasoning models (SRMs) can learn rule-based reasoning effectively with robust generalization across diverse tasks and domains. To address this, we introduce Reinforced Rule-based Reasoning, a.k.a. RuleReasoner, a simple yet effective method to conduct rule-based reasoning via a wide collection of curated tasks and a novel domain-aware dynamic sampling approach. Specifically, RuleReasoner resamples each training batch by updating the sampling weights of different domains based on historical rewards. This facilitates domain augmentation and flexible online learning schedules for RL, obviating the need for pre-hoc human-engineered mix-training recipes used in existing methods. Empirical evaluations on in-distribution (ID) and out-of-distribution (OOD) benchmarks reveal that RuleReasoner outperforms frontier LRMs by a significant margin (Delta4.1% average points on eight ID tasks and Delta10.4% average points on three OOD tasks over OpenAI-o1). Notably, our approach also exhibits higher computational efficiency compared to prior dynamic sampling methods for RL.