RuleReasoner : Raisonnement renforcé basé sur des règles via un échantillonnage dynamique adapté au domaine

RuleReasoner: Reinforced Rule-based Reasoning via Domain-aware Dynamic Sampling

June 10, 2025

Auteurs: Yang Liu, Jiaqi Li, Zilong Zheng

cs.AI

Résumé

Le raisonnement basé sur des règles a été reconnu comme l'un des problèmes fondamentaux du raisonnement, tandis que les variations dans les formats, types et complexité des règles dans les applications réelles posent des défis majeurs. Des études récentes ont montré que les grands modèles de raisonnement (LRMs) possèdent des capacités de raisonnement remarquables, et leurs performances sont considérablement améliorées par l'apprentissage par renforcement (RL). Cependant, il reste une question ouverte de savoir si les petits modèles de raisonnement (SRMs) peuvent apprendre efficacement le raisonnement basé sur les règles avec une généralisation robuste à travers diverses tâches et domaines. Pour répondre à cela, nous introduisons le Raisonnement Basé sur des Règles Renforcé, alias RuleReasoner, une méthode simple mais efficace pour effectuer un raisonnement basé sur des règles via une large collection de tâches soigneusement sélectionnées et une nouvelle approche d'échantillonnage dynamique consciente du domaine. Plus précisément, RuleReasoner rééchantillonne chaque lot d'entraînement en mettant à jour les poids d'échantillonnage des différents domaines en fonction des récompenses historiques. Cela facilite l'augmentation de domaine et des plans d'apprentissage en ligne flexibles pour le RL, éliminant ainsi le besoin de recettes de mélange d'entraînement préconçues par l'homme utilisées dans les méthodes existantes. Les évaluations empiriques sur des benchmarks en distribution (ID) et hors distribution (OOD) révèlent que RuleReasoner surpasse les LRMs de pointe par une marge significative (Delta4.1% de points en moyenne sur huit tâches ID et Delta10.4% de points en moyenne sur trois tâches OOD par rapport à OpenAI-o1). Notamment, notre approche montre également une efficacité computationnelle plus élevée par rapport aux méthodes d'échantillonnage dynamique précédentes pour le RL.

English

Rule-based reasoning has been acknowledged as one of the fundamental problems in reasoning, while deviations in rule formats, types, and complexity in real-world applications pose severe challenges. Recent studies have shown that large reasoning models (LRMs) have remarkable reasoning capabilities, and their performance is substantially enhanced by reinforcement learning (RL). However, it remains an open question whether small reasoning models (SRMs) can learn rule-based reasoning effectively with robust generalization across diverse tasks and domains. To address this, we introduce Reinforced Rule-based Reasoning, a.k.a. RuleReasoner, a simple yet effective method to conduct rule-based reasoning via a wide collection of curated tasks and a novel domain-aware dynamic sampling approach. Specifically, RuleReasoner resamples each training batch by updating the sampling weights of different domains based on historical rewards. This facilitates domain augmentation and flexible online learning schedules for RL, obviating the need for pre-hoc human-engineered mix-training recipes used in existing methods. Empirical evaluations on in-distribution (ID) and out-of-distribution (OOD) benchmarks reveal that RuleReasoner outperforms frontier LRMs by a significant margin (Delta4.1% average points on eight ID tasks and Delta10.4% average points on three OOD tasks over OpenAI-o1). Notably, our approach also exhibits higher computational efficiency compared to prior dynamic sampling methods for RL.