Reasoning Core: Масштабируемый набор инструментов для процедурной генерации данных для символьного предварительного и последующего обучения

Reasoning Core: A Scalable Procedural Data Generation Suite for Symbolic Pre-training and Post-Training

March 2, 2026

Авторы: Valentin Lacombe, Valentin Quesnel, Damien Sileo

cs.AI

Аннотация

Обучение на верифицируемых символьных данных является перспективным способом расширения границ логического мышления языковых моделей за пределы того, что предоставляют стандартные корпуса для предварительного обучения. Однако существующие процедурные генераторы часто полагаются на фиксированные головоломки или шаблоны и не обеспечивают необходимой широты распределения данных в больших масштабах. Мы представляем Reasoning Core — масштабируемый набор инструментов, который процедурно генерирует верифицируемые символьные данные для логических рассуждений в ключевых формальных областях: планирование на языке PDDL в рандомизированных доменах, логика первого порядка с равенством, синтаксический анализ и генерация контекстно-свободных грамматик, причинно-следственные рассуждения на случайных байесовских сетях и системы уравнений. Каждая задача снабжена внешним решателем для строгой верификации и допускает непрерывный контроль сложности для построения учебных программ. Примеры могут по желанию включать трассировки рассуждений, полученные от решателя, что позволяет осуществлять обучение с учителем уже на самых ранних этапах предварительного обучения, а тот же интерфейс предоставляет верифицируемые функции вознаграждения для обучения с подкреплением. Наши эксперименты показывают, что включение данных Reasoning Core в предварительное обучение улучшает последующие логические рассуждения, сохраняя или даже немного улучшая качество языкового моделирования. Оценка с нулевым разгоном подтверждает, что эти задачи бросают вызов передовым моделям, таким как GPT-5. Код и данные находятся в открытом доступе по лицензии MIT.

English

Training on verifiable symbolic data is a promising way to expand the reasoning frontier of language models beyond what standard pre-training corpora provide. Yet existing procedural generators often rely on fixed puzzles or templates and do not deliver the distributional breadth needed at scale. We introduce Reasoning Core, a scalable suite that procedurally generates verifiable symbolic reasoning data across core formal domains: PDDL planning over randomized domains, first-order logic with equality, context-free grammar parsing and generation, causal reasoning over random Bayesian networks, and systems of equations. Each task is paired with an external solver for rigorous verification and admits continuous difficulty control for curriculum design. Examples can optionally include solver-derived reasoning traces, enabling supervised training from the earliest pre-training stages, and the same interface provides verifiable reward functions for reinforcement learning. Our experiments show that mixing Reasoning Core data into pre-training improves downstream reasoning while preserving, or slightly improving, language modeling quality. Zero-shot evaluations confirm these tasks challenge frontier models such as GPT-5. The code and data are publicly available under the MIT license.