Núcleo de Razonamiento: Un Conjunto Escalable de Generación de Datos Procedimentales para el Pre-entrenamiento y Post-entrenamiento Simbólico

Reasoning Core: A Scalable Procedural Data Generation Suite for Symbolic Pre-training and Post-Training

March 2, 2026

Autores: Valentin Lacombe, Valentin Quesnel, Damien Sileo

cs.AI

Resumen

El entrenamiento con datos simbólicos verificables es un método prometedor para ampliar la frontera de razonamiento de los modelos de lenguaje más allá de lo que ofrecen los corpus de pre-entrenamiento estándar. Sin embargo, los generadores procedimentales existentes a menudo dependen de rompecabezas o plantillas fijos y no proporcionan la amplitud distribucional necesaria a escala. Presentamos Reasoning Core, un conjunto de herramientas escalable que genera de manera procedimental datos de razonamiento simbólico verificables en dominios formales fundamentales: planificación PDDL sobre dominios aleatorizados, lógica de primer orden con igualdad, análisis sintáctico y generación de gramáticas libres de contexto, razonamiento causal sobre redes bayesianas aleatorias y sistemas de ecuaciones. Cada tarea se empareja con un solucionador externo para una verificación rigurosa y admite un control continuo de la dificultad para el diseño curricular. Los ejemplos pueden incluir opcionalmente trazas de razonamiento derivadas del solucionador, permitiendo un entrenamiento supervisado desde las primeras etapas de pre-entrenamiento, y la misma interfaz proporciona funciones de recompensa verificables para el aprendizaje por refuerzo. Nuestros experimentos muestran que mezclar datos de Reasoning Core en el pre-entrenamiento mejora el razonamiento en tareas posteriores mientras preserva, o incluso mejora ligeramente, la calidad del modelado del lenguaje. Las evaluaciones *zero-shot* confirman que estas tareas representan un desafío para modelos de vanguardia como GPT-5. El código y los datos están disponibles públicamente bajo la licencia MIT.

English

Training on verifiable symbolic data is a promising way to expand the reasoning frontier of language models beyond what standard pre-training corpora provide. Yet existing procedural generators often rely on fixed puzzles or templates and do not deliver the distributional breadth needed at scale. We introduce Reasoning Core, a scalable suite that procedurally generates verifiable symbolic reasoning data across core formal domains: PDDL planning over randomized domains, first-order logic with equality, context-free grammar parsing and generation, causal reasoning over random Bayesian networks, and systems of equations. Each task is paired with an external solver for rigorous verification and admits continuous difficulty control for curriculum design. Examples can optionally include solver-derived reasoning traces, enabling supervised training from the earliest pre-training stages, and the same interface provides verifiable reward functions for reinforcement learning. Our experiments show that mixing Reasoning Core data into pre-training improves downstream reasoning while preserving, or slightly improving, language modeling quality. Zero-shot evaluations confirm these tasks challenge frontier models such as GPT-5. The code and data are publicly available under the MIT license.