Reasoning Core: Um Conjunto de Geração de Dados Procedurais Escalável para Pré-treinamento e Pós-treinamento Simbólico

Reasoning Core: A Scalable Procedural Data Generation Suite for Symbolic Pre-training and Post-Training

March 2, 2026

Autores: Valentin Lacombe, Valentin Quesnel, Damien Sileo

cs.AI

Resumo

O treinamento em dados simbólicos verificáveis é uma abordagem promissora para expandir a fronteira do raciocínio dos modelos de linguagem para além do que os *corpora* de pré-treinamento padrão oferecem. No entanto, os geradores procedurais existentes frequentemente dependem de quebra-cabeças ou modelos fixos e não fornecem a amplitude distribucional necessária em escala. Apresentamos o *Reasoning Core*, um conjunto escalável que gera proceduralmente dados de raciocínio simbólico verificáveis em domínios formais fundamentais: planeamento PDDL sobre domínios randomizados, lógica de primeira ordem com igualdade, análise sintática e geração de gramáticas livres de contexto, raciocínio causal sobre redes bayesianas aleatórias e sistemas de equações. Cada tarefa é emparelhada com um solucionador externo para verificação rigorosa e admite controle contínuo de dificuldade para o desenho curricular. Os exemplos podem, opcionalmente, incluir traços de raciocínio derivados do solucionador, permitindo o treinamento supervisionado desde os estágios mais iniciais do pré-treinamento, e a mesma interface fornece funções de recompensa verificáveis para aprendizagem por reforço. As nossas experiências mostram que misturar dados do *Reasoning Core* no pré-treinamento melhora o raciocínio a jusante, preservando, ou melhorando ligeiramente, a qualidade da modelação da linguagem. Avaliações *zero-shot* confirmam que estas tarefas desafiam modelos de fronteira, como o GPT-5. O código e os dados estão publicamente disponíveis sob a licença MIT.

English

Training on verifiable symbolic data is a promising way to expand the reasoning frontier of language models beyond what standard pre-training corpora provide. Yet existing procedural generators often rely on fixed puzzles or templates and do not deliver the distributional breadth needed at scale. We introduce Reasoning Core, a scalable suite that procedurally generates verifiable symbolic reasoning data across core formal domains: PDDL planning over randomized domains, first-order logic with equality, context-free grammar parsing and generation, causal reasoning over random Bayesian networks, and systems of equations. Each task is paired with an external solver for rigorous verification and admits continuous difficulty control for curriculum design. Examples can optionally include solver-derived reasoning traces, enabling supervised training from the earliest pre-training stages, and the same interface provides verifiable reward functions for reinforcement learning. Our experiments show that mixing Reasoning Core data into pre-training improves downstream reasoning while preserving, or slightly improving, language modeling quality. Zero-shot evaluations confirm these tasks challenge frontier models such as GPT-5. The code and data are publicly available under the MIT license.