RuleReasoner: Verstärkte regelbasierte Argumentation durch domänenbewusste dynamische Stichprobenentnahme

RuleReasoner: Reinforced Rule-based Reasoning via Domain-aware Dynamic Sampling

June 10, 2025

Autoren: Yang Liu, Jiaqi Li, Zilong Zheng

cs.AI

Zusammenfassung

Regelbasiertes Schließen wird als eines der grundlegenden Probleme im Bereich des Schließens anerkannt, während Abweichungen in Regelformaten, -typen und -komplexität in realen Anwendungen erhebliche Herausforderungen darstellen. Jüngste Studien haben gezeigt, dass große Schließmodelle (Large Reasoning Models, LRMs) bemerkenswerte Fähigkeiten im Schließen besitzen und ihre Leistung durch Reinforcement Learning (RL) erheblich gesteigert wird. Es bleibt jedoch eine offene Frage, ob kleine Schließmodelle (Small Reasoning Models, SRMs) regelbasiertes Schließen effektiv lernen und dabei eine robuste Generalisierung über verschiedene Aufgaben und Domänen hinweg erreichen können. Um dies zu adressieren, stellen wir Reinforced Rule-based Reasoning, auch bekannt als RuleReasoner, vor – eine einfache, aber effektive Methode zur Durchführung regelbasierten Schließens mithilfe einer breiten Sammlung kuratierter Aufgaben und eines neuartigen domänenbewussten dynamischen Sampling-Ansatzes. Konkret passt RuleReasoner die Sampling-Gewichte verschiedener Domänen basierend auf historischen Belohnungen an und resampelt so jeden Trainingsbatch. Dies ermöglicht Domänen-Erweiterung und flexible Online-Lernpläne für RL, wodurch die Notwendigkeit für vorab menschlich entwickelte Mix-Training-Rezepte, wie sie in bestehenden Methoden verwendet werden, entfällt. Empirische Auswertungen auf In-Distribution (ID) und Out-of-Distribution (OOD) Benchmarks zeigen, dass RuleReasoner führende LRMs deutlich übertrifft (Durchschnittlich Delta4,1% auf acht ID-Aufgaben und Delta10,4% auf drei OOD-Aufgaben gegenüber OpenAI-o1). Bemerkenswerterweise weist unser Ansatz auch eine höhere Recheneffizienz im Vergleich zu früheren dynamischen Sampling-Methoden für RL auf.

English

Rule-based reasoning has been acknowledged as one of the fundamental problems in reasoning, while deviations in rule formats, types, and complexity in real-world applications pose severe challenges. Recent studies have shown that large reasoning models (LRMs) have remarkable reasoning capabilities, and their performance is substantially enhanced by reinforcement learning (RL). However, it remains an open question whether small reasoning models (SRMs) can learn rule-based reasoning effectively with robust generalization across diverse tasks and domains. To address this, we introduce Reinforced Rule-based Reasoning, a.k.a. RuleReasoner, a simple yet effective method to conduct rule-based reasoning via a wide collection of curated tasks and a novel domain-aware dynamic sampling approach. Specifically, RuleReasoner resamples each training batch by updating the sampling weights of different domains based on historical rewards. This facilitates domain augmentation and flexible online learning schedules for RL, obviating the need for pre-hoc human-engineered mix-training recipes used in existing methods. Empirical evaluations on in-distribution (ID) and out-of-distribution (OOD) benchmarks reveal that RuleReasoner outperforms frontier LRMs by a significant margin (Delta4.1% average points on eight ID tasks and Delta10.4% average points on three OOD tasks over OpenAI-o1). Notably, our approach also exhibits higher computational efficiency compared to prior dynamic sampling methods for RL.