PlanningBench: Генерация масштабируемых и проверяемых данных планирования для оценки и обучения больших языковых моделей

Аннотация

Планирование является фундаментальной способностью больших языковых моделей (БЯМ), поскольку сложные задачи требуют от моделей координации целей, ограничений, ресурсов и долгосрочных последствий в выполнимые и верифицируемые решения. Существующие бенчмарки по планированию, однако, как правило, рассматривают данные по планированию как фиксированные наборы примеров, а не как контролируемые цели генерации. Это ограничивает покрытие сценариев, привязывает сложность к поверхностным прокси вместо структурных источников и предоставляет ограниченную поддержку для масштабируемой генерации, автоматической верификации или обучения, ориентированного на планирование. Мы представляем PlanningBench — фреймворк для генерации масштабируемых, разнообразных и верифицируемых данных по планированию как для оценки, так и для обучения. PlanningBench исходит из реальных сценариев планирования и абстрагирует практические рабочие процессы в структурированную таксономию, включающую более 30 типов задач, подзадач, семейств ограничений и факторов сложности. Руководствуясь этой таксономией, конвейер синтеза на основе ограничений создает самодостаточные задачи планирования с адаптивным контролем сложности, фильтрацией качества и пошаговыми проверочными списками на уровне экземпляров. Это переводит конструирование данных по планированию от фиксированных бенчмарков к контролируемой генерации, сохраняя при этом привязку к реалистичным задачам. Мы используем PlanningBench для оценки открытых и закрытых передовых БЯМ и обнаруживаем, что современные модели по-прежнему испытывают трудности с созданием полных решений в условиях связанных ограничений. Помимо оценки, обучение с подкреплением на верифицированных данных PlanningBench улучшает производительность на неизвестных бенчмарках по планированию и более широких задачах следования инструкциям. Дальнейший анализ показывает, что детерминированные или хорошо заданные оптимальные решения обеспечивают более четкие сигналы вознаграждения и более стабильную динамику обучения. В целом, PlanningBench предоставляет контролируемый источник данных по планированию для диагностики и улучшения обобщаемых способностей к планированию у БЯМ.

English

Planning is a fundamental capability for large language models (LLMs) because such complex tasks require models to coordinate goals, constraints, resources, and long-term consequences into executable and verifiable solutions. Existing planning benchmarks, however, usually treat planning data as fixed collections of instances rather than controllable generation targets. This limits scenario coverage, ties difficulty to surface-level proxies rather than structural sources, and offers limited support for scalable generation, automatic verification, or planning-oriented training. We introduce PlanningBench, a framework for generating scalable, diverse, and verifiable planning data for both evaluation and training. PlanningBench starts from real planning scenarios and abstracts practical workflows into a structured taxonomy of more than 30 task types, subtasks, constraint families, and difficulty factors. Guided by this taxonomy, a constraint-driven synthesis pipeline instantiates self-contained planning problems with adaptive difficulty control, quality filtering, and instance-level verification checklists. This shifts planning data construction from fixed benchmark collection to controllable generation while preserving realistic task grounding. We use PlanningBench to evaluate open-source and closed-source frontier LLMs, and find that current models still struggle to produce complete solutions under coupled constraints. Beyond evaluation, reinforcement learning on verified PlanningBench data improves performance on unseen planning benchmarks and broader instruction-following tasks. Further analysis suggests that determinate or well-specified optimal solutions provide clearer reward signals and more stable training dynamics. Overall, PlanningBench provides a controllable source of planning data for diagnosing and improving generalizable planning abilities in LLMs.