RuleReasoner: Raciocínio Baseado em Regras Reforçado por Amostragem Dinâmica com Consciência de Domínio

RuleReasoner: Reinforced Rule-based Reasoning via Domain-aware Dynamic Sampling

June 10, 2025

Autores: Yang Liu, Jiaqi Li, Zilong Zheng

cs.AI

Resumo

O raciocínio baseado em regras tem sido reconhecido como um dos problemas fundamentais no campo do raciocínio, enquanto as variações em formatos, tipos e complexidade de regras em aplicações do mundo real apresentam desafios significativos. Estudos recentes demonstraram que modelos de raciocínio de grande escala (LRMs) possuem capacidades notáveis de raciocínio, e seu desempenho é substancialmente aprimorado pelo aprendizado por reforço (RL). No entanto, ainda é uma questão em aberto se modelos de raciocínio de pequena escala (SRMs) podem aprender raciocínio baseado em regras de forma eficaz com generalização robusta em diversas tarefas e domínios. Para abordar isso, introduzimos o Reinforced Rule-based Reasoning, também conhecido como RuleReasoner, um método simples, porém eficaz, para realizar raciocínio baseado em regras por meio de uma ampla coleção de tarefas curadas e uma nova abordagem de amostragem dinâmica consciente do domínio. Especificamente, o RuleReasoner reamostra cada lote de treinamento atualizando os pesos de amostragem de diferentes domínios com base em recompensas históricas. Isso facilita a ampliação de domínios e agendas de aprendizado online flexíveis para RL, eliminando a necessidade de receitas de treinamento misto pré-definidas e projetadas por humanos, usadas em métodos existentes. Avaliações empíricas em benchmarks de distribuição interna (ID) e externa (OOD) revelam que o RuleReasoner supera os LRMs de ponta por uma margem significativa (Delta4,1% em média em oito tarefas ID e Delta10,4% em média em três tarefas OOD em relação ao OpenAI-o1). Notavelmente, nossa abordagem também exibe maior eficiência computacional em comparação com métodos anteriores de amostragem dinâmica para RL.

English

Rule-based reasoning has been acknowledged as one of the fundamental problems in reasoning, while deviations in rule formats, types, and complexity in real-world applications pose severe challenges. Recent studies have shown that large reasoning models (LRMs) have remarkable reasoning capabilities, and their performance is substantially enhanced by reinforcement learning (RL). However, it remains an open question whether small reasoning models (SRMs) can learn rule-based reasoning effectively with robust generalization across diverse tasks and domains. To address this, we introduce Reinforced Rule-based Reasoning, a.k.a. RuleReasoner, a simple yet effective method to conduct rule-based reasoning via a wide collection of curated tasks and a novel domain-aware dynamic sampling approach. Specifically, RuleReasoner resamples each training batch by updating the sampling weights of different domains based on historical rewards. This facilitates domain augmentation and flexible online learning schedules for RL, obviating the need for pre-hoc human-engineered mix-training recipes used in existing methods. Empirical evaluations on in-distribution (ID) and out-of-distribution (OOD) benchmarks reveal that RuleReasoner outperforms frontier LRMs by a significant margin (Delta4.1% average points on eight ID tasks and Delta10.4% average points on three OOD tasks over OpenAI-o1). Notably, our approach also exhibits higher computational efficiency compared to prior dynamic sampling methods for RL.