RuleReasoner: Versterkt regelgebaseerd redeneren via domeinbewuste dynamische steekproefname

RuleReasoner: Reinforced Rule-based Reasoning via Domain-aware Dynamic Sampling

June 10, 2025

Auteurs: Yang Liu, Jiaqi Li, Zilong Zheng

cs.AI

Samenvatting

Regelgebaseerd redeneren wordt erkend als een van de fundamentele problemen in redeneren, terwijl afwijkingen in regelformaten, typen en complexiteit in real-world toepassingen ernstige uitdagingen vormen. Recente studies hebben aangetoond dat grote redeneermodellen (LRMs) opmerkelijke redeneervaardigheden hebben, en hun prestaties aanzienlijk worden verbeterd door reinforcement learning (RL). Het blijft echter een open vraag of kleine redeneermodellen (SRMs) effectief regelgebaseerd redeneren kunnen leren met robuuste generalisatie over diverse taken en domeinen. Om dit aan te pakken, introduceren we Reinforced Rule-based Reasoning, ook wel bekend als RuleReasoner, een eenvoudige maar effectieve methode om regelgebaseerd redeneren uit te voeren via een brede verzameling gecureerde taken en een nieuwe domeinbewuste dynamische steekproefbenadering. Specifiek hermonstert RuleReasoner elke trainingsbatch door de steekproefgewichten van verschillende domeinen bij te werken op basis van historische beloningen. Dit vergemakkelijkt domeinaugmentatie en flexibele online leerschema's voor RL, waardoor de noodzaak van vooraf door mensen ontworpen mix-trainingsrecepten die in bestaande methoden worden gebruikt, wordt weggenomen. Empirische evaluaties op in-distributie (ID) en out-of-distributie (OOD) benchmarks onthullen dat RuleReasoner frontier LRMs met een aanzienlijke marge overtreft (Delta4,1% gemiddelde punten op acht ID-taken en Delta10,4% gemiddelde punten op drie OOD-taken ten opzichte van OpenAI-o1). Opmerkelijk is dat onze aanpak ook een hogere computationele efficiëntie vertoont in vergelijking met eerdere dynamische steekproefmethoden voor RL.

English

Rule-based reasoning has been acknowledged as one of the fundamental problems in reasoning, while deviations in rule formats, types, and complexity in real-world applications pose severe challenges. Recent studies have shown that large reasoning models (LRMs) have remarkable reasoning capabilities, and their performance is substantially enhanced by reinforcement learning (RL). However, it remains an open question whether small reasoning models (SRMs) can learn rule-based reasoning effectively with robust generalization across diverse tasks and domains. To address this, we introduce Reinforced Rule-based Reasoning, a.k.a. RuleReasoner, a simple yet effective method to conduct rule-based reasoning via a wide collection of curated tasks and a novel domain-aware dynamic sampling approach. Specifically, RuleReasoner resamples each training batch by updating the sampling weights of different domains based on historical rewards. This facilitates domain augmentation and flexible online learning schedules for RL, obviating the need for pre-hoc human-engineered mix-training recipes used in existing methods. Empirical evaluations on in-distribution (ID) and out-of-distribution (OOD) benchmarks reveal that RuleReasoner outperforms frontier LRMs by a significant margin (Delta4.1% average points on eight ID tasks and Delta10.4% average points on three OOD tasks over OpenAI-o1). Notably, our approach also exhibits higher computational efficiency compared to prior dynamic sampling methods for RL.