Reasoning Core: Eine skalierbare Suite zur prozeduralen Datengenerierung für symbolisches Pre-Training und Post-Training
Reasoning Core: A Scalable Procedural Data Generation Suite for Symbolic Pre-training and Post-Training
March 2, 2026
Autoren: Valentin Lacombe, Valentin Quesnel, Damien Sileo
cs.AI
Zusammenfassung
Training anhand verifizierbarer symbolischer Daten ist ein vielversprechender Ansatz, um die Reasoning-Fähigkeiten von Sprachmodellen über die Grenzen hinaus zu erweitern, die Standard-Pre-Training-Korpora bieten. Bisherige prozedurale Generatoren basieren jedoch oft auf festen Rätseln oder Templates und liefern nicht die benötigte Verteilungsbreite im großen Maßstab. Wir stellen Reasoning Core vor, eine skalierbare Suite, die prozedural verifizierbare symbolische Reasoning-Daten in zentralen formalen Domänen generiert: PDDL-Planung in randomisierten Domänen, Logik erster Stufe mit Gleichheit, Parsen und Generierung kontextfreier Grammatiken, kausales Schließen mit zufälligen Bayes-Netzen und Gleichungssysteme. Jede Aufgabe ist mit einem externen Solver zur rigorosen Verifikation gekoppelt und erlaubt eine kontinuierliche Schwierigkeitskontrolle für Curriculum Design. Beispiele können optional vom Solver abgeleitete Reasoning-Traces enthalten, was überwachtes Training bereits in frühen Pre-Training-Phasen ermöglicht; dieselbe Schnittstelle bietet verifizierbare Belohnungsfunktionen für Reinforcement Learning. Unsere Experimente zeigen, dass die Beimischung von Reasoning-Core-Daten zum Pre-Training das nachgelagerte Reasoning verbessert, während die Sprachmodellierungsqualität erhalten bleibt oder sich leicht verbessert. Zero-Shot-Evaluierungen bestätigen, dass diese Aufgaben Spitzenmodelle wie GPT-5 vor Herausforderungen stellen. Code und Daten sind unter der MIT-Lizenz öffentlich verfügbar.
English
Training on verifiable symbolic data is a promising way to expand the reasoning frontier of language models beyond what standard pre-training corpora provide. Yet existing procedural generators often rely on fixed puzzles or templates and do not deliver the distributional breadth needed at scale. We introduce Reasoning Core, a scalable suite that procedurally generates verifiable symbolic reasoning data across core formal domains: PDDL planning over randomized domains, first-order logic with equality, context-free grammar parsing and generation, causal reasoning over random Bayesian networks, and systems of equations. Each task is paired with an external solver for rigorous verification and admits continuous difficulty control for curriculum design. Examples can optionally include solver-derived reasoning traces, enabling supervised training from the earliest pre-training stages, and the same interface provides verifiable reward functions for reinforcement learning. Our experiments show that mixing Reasoning Core data into pre-training improves downstream reasoning while preserving, or slightly improving, language modeling quality. Zero-shot evaluations confirm these tasks challenge frontier models such as GPT-5. The code and data are publicly available under the MIT license.