PlanningBench: Generierung skalierbarer und verifizierbarer Planungsdaten zur Evaluierung und zum Training großer Sprachmodelle

Zusammenfassung

Planung ist eine grundlegende Fähigkeit für große Sprachmodelle (Large Language Models, LLMs), da solche komplexen Aufgaben erfordern, dass Modelle Ziele, Einschränkungen, Ressourcen und langfristige Konsequenzen in ausführbare und verifizierbare Lösungen koordinieren. Bestehende Planungs-Benchmarks behandeln Planungsdaten jedoch typischerweise als feste Sammlungen von Instanzen und nicht als kontrollierbare Generierungsziele. Dies schränkt die Szenarioabdeckung ein, koppelt die Schwierigkeit an oberflächliche Proxy-Größen anstelle struktureller Quellen und bietet nur begrenzte Unterstützung für skalierbare Generierung, automatische Verifikation oder planungsorientiertes Training. Wir stellen PlanningBench vor, ein Framework zur Generierung skalierbarer, diverser und verifizierbarer Planungsdaten für sowohl Evaluierung als auch Training. PlanningBench beginnt mit realen Planungsszenarien und abstrahiert praktische Arbeitsabläufe in eine strukturierte Taxonomie mit über 30 Aufgabentypen, Teilaufgaben, Einschränkungsfamilien und Schwierigkeitsfaktoren. Eine von dieser Taxonomie geleitete, einschränkungsgetriebene Synthesepipeline instanziiert in sich geschlossene Planungsprobleme mit adaptiver Schwierigkeitskontrolle, Qualitätsfilterung und instanzbezogenen Verifikationschecklisten. Dies verlagert die Konstruktion von Planungsdaten von festen Benchmark-Sammlungen hin zu kontrollierbarer Generierung, während die realistische Aufgabenverankerung erhalten bleibt. Wir verwenden PlanningBench zur Evaluierung von Open-Source- und Closed-Source-Frontier-LLMs und stellen fest, dass aktuelle Modelle unter gekoppelten Einschränkungen weiterhin Schwierigkeiten haben, vollständige Lösungen zu erstellen. Über die Evaluierung hinaus verbessert Reinforcement Learning auf verifizierten PlanningBench-Daten die Leistung auf unbekannten Planungs-Benchmarks und allgemeinen Instruktionsbefolgungsaufgaben. Weitere Analysen legen nahe, dass deterministische oder gut spezifizierte optimale Lösungen klarere Belohnungssignale und stabilere Trainingsdynamiken liefern. Insgesamt bietet PlanningBench eine kontrollierbare Quelle von Planungsdaten zur Diagnose und Verbesserung generalisierbarer Planungsfähigkeiten in LLMs.

English

Planning is a fundamental capability for large language models (LLMs) because such complex tasks require models to coordinate goals, constraints, resources, and long-term consequences into executable and verifiable solutions. Existing planning benchmarks, however, usually treat planning data as fixed collections of instances rather than controllable generation targets. This limits scenario coverage, ties difficulty to surface-level proxies rather than structural sources, and offers limited support for scalable generation, automatic verification, or planning-oriented training. We introduce PlanningBench, a framework for generating scalable, diverse, and verifiable planning data for both evaluation and training. PlanningBench starts from real planning scenarios and abstracts practical workflows into a structured taxonomy of more than 30 task types, subtasks, constraint families, and difficulty factors. Guided by this taxonomy, a constraint-driven synthesis pipeline instantiates self-contained planning problems with adaptive difficulty control, quality filtering, and instance-level verification checklists. This shifts planning data construction from fixed benchmark collection to controllable generation while preserving realistic task grounding. We use PlanningBench to evaluate open-source and closed-source frontier LLMs, and find that current models still struggle to produce complete solutions under coupled constraints. Beyond evaluation, reinforcement learning on verified PlanningBench data improves performance on unseen planning benchmarks and broader instruction-following tasks. Further analysis suggests that determinate or well-specified optimal solutions provide clearer reward signals and more stable training dynamics. Overall, PlanningBench provides a controllable source of planning data for diagnosing and improving generalizable planning abilities in LLMs.