General-Reasoner: Avançando o Raciocínio de LLMs em Todos os Domínios

General-Reasoner: Advancing LLM Reasoning Across All Domains

May 20, 2025

Autores: Xueguang Ma, Qian Liu, Dongfu Jiang, Ge Zhang, Zejun Ma, Wenhu Chen

cs.AI

Resumo

O aprendizado por reforço (RL) demonstrou recentemente um forte potencial para aprimorar as capacidades de raciocínio de grandes modelos de linguagem (LLMs). Especificamente, o RL "Zero" introduzido pelo Deepseek-R1-Zero permite o treinamento direto de LLMs base sem depender de uma etapa intermediária de ajuste fino supervisionado. Apesar desses avanços, os trabalhos atuais sobre raciocínio em LLMs concentram-se principalmente em domínios matemáticos e de codificação, em grande parte devido à abundância de dados e à facilidade de verificação de respostas. Isso limita a aplicabilidade e a generalização desses modelos para domínios mais amplos, onde as perguntas frequentemente têm representações de respostas diversas e os dados são mais escassos. Neste artigo, propomos o General-Reasoner, um novo paradigma de treinamento projetado para aprimorar as capacidades de raciocínio de LLMs em diversos domínios. Nossas principais contribuições incluem: (1) a construção de um conjunto de dados em larga escala e de alta qualidade, com perguntas e respostas verificáveis, curadas por meio de web crawling, abrangendo uma ampla gama de disciplinas; e (2) o desenvolvimento de um verificador de respostas baseado em modelo generativo, que substitui a verificação tradicional baseada em regras pela capacidade de cadeia de pensamento e consciência contextual. Treinamos uma série de modelos e os avaliamos em uma variedade de conjuntos de dados que abrangem domínios amplos como física, química, finanças, eletrônica, entre outros. Nossa avaliação abrangente nesses 12 benchmarks (por exemplo, MMLU-Pro, GPQA, SuperGPQA, TheoremQA, BBEH e MATH AMC) demonstra que o General-Reasoner supera os métodos de linha de base existentes, alcançando um desempenho de raciocínio robusto e generalizável, mantendo uma eficácia superior em tarefas de raciocínio matemático.

English

Reinforcement learning (RL) has recently demonstrated strong potential in enhancing the reasoning capabilities of large language models (LLMs). Particularly, the "Zero" reinforcement learning introduced by Deepseek-R1-Zero, enables direct RL training of base LLMs without relying on an intermediate supervised fine-tuning stage. Despite these advancements, current works for LLM reasoning mainly focus on mathematical and coding domains, largely due to data abundance and the ease of answer verification. This limits the applicability and generalization of such models to broader domains, where questions often have diverse answer representations, and data is more scarce. In this paper, we propose General-Reasoner, a novel training paradigm designed to enhance LLM reasoning capabilities across diverse domains. Our key contributions include: (1) constructing a large-scale, high-quality dataset of questions with verifiable answers curated by web crawling, covering a wide range of disciplines; and (2) developing a generative model-based answer verifier, which replaces traditional rule-based verification with the capability of chain-of-thought and context-awareness. We train a series of models and evaluate them on a wide range of datasets covering wide domains like physics, chemistry, finance, electronics etc. Our comprehensive evaluation across these 12 benchmarks (e.g. MMLU-Pro, GPQA, SuperGPQA, TheoremQA, BBEH and MATH AMC) demonstrates that General-Reasoner outperforms existing baseline methods, achieving robust and generalizable reasoning performance while maintaining superior effectiveness in mathematical reasoning tasks.