PlanningBench: Het genereren van schaalbare en verifieerbare planningsdata voor het evalueren en trainen van grote taalmodellen

Samenvatting

Planning is een fundamentele vaardigheid voor grote taalmodellen (LLM's), omdat dergelijke complexe taken vereisen dat modellen doelen, beperkingen, middelen en langetermijngevolgen coördineren tot uitvoerbare en verifieerbare oplossingen. Bestaande planningsbenchmarks behandelen planningsgegevens echter meestal als vaste verzamelingen van instanties in plaats van als beheersbare generatiedoelen. Dit beperkt de dekkingsgraad van scenario's, koppelt moeilijkheidsgraad aan oppervlakkige proxies in plaats van aan structurele bronnen, en biedt beperkte ondersteuning voor schaalbare generatie, automatische verificatie of planningsgerichte training. We introduceren PlanningBench, een raamwerk voor het genereren van schaalbare, diverse en verifieerbare planningsgegevens voor zowel evaluatie als training. PlanningBench vertrekt van echte planningsscenario's en abstraheert praktische workflows tot een gestructureerde taxonomie van meer dan 30 taaktypes, subtaken, beperkingsfamilies en moeilijkheidsfactoren. Geleid door deze taxonomie instantieert een constraint-gestuurde synthesepijplijn zelfstandige planningsproblemen met adaptieve moeilijkheidsregeling, kwaliteitsfiltering en instantie-niveau verificatiechecklists. Dit verschuift de constructie van planningsgegevens van vaste benchmarkverzameling naar beheersbare generatie, terwijl realistische taakverankering behouden blijft. We gebruiken PlanningBench om open-source en closed-source geavanceerde LLM's te evalueren, en stellen vast dat huidige modellen nog steeds moeite hebben om volledige oplossingen te produceren onder gekoppelde beperkingen. Naast evaluatie verbetert reinforcement learning op geverifieerde PlanningBench-gegevens de prestaties op ongeziene planningsbenchmarks en bredere instructievolgende taken. Verdere analyse suggereert dat deterministische of goed gespecificeerde optimale oplossingen duidelijkere beloningssignalen en stabielere trainingsdynamiek bieden. Al met al biedt PlanningBench een beheersbare bron van planningsgegevens voor het diagnosticeren en verbeteren van generaliseerbare planningsvaardigheden in LLM's.

English

Planning is a fundamental capability for large language models (LLMs) because such complex tasks require models to coordinate goals, constraints, resources, and long-term consequences into executable and verifiable solutions. Existing planning benchmarks, however, usually treat planning data as fixed collections of instances rather than controllable generation targets. This limits scenario coverage, ties difficulty to surface-level proxies rather than structural sources, and offers limited support for scalable generation, automatic verification, or planning-oriented training. We introduce PlanningBench, a framework for generating scalable, diverse, and verifiable planning data for both evaluation and training. PlanningBench starts from real planning scenarios and abstracts practical workflows into a structured taxonomy of more than 30 task types, subtasks, constraint families, and difficulty factors. Guided by this taxonomy, a constraint-driven synthesis pipeline instantiates self-contained planning problems with adaptive difficulty control, quality filtering, and instance-level verification checklists. This shifts planning data construction from fixed benchmark collection to controllable generation while preserving realistic task grounding. We use PlanningBench to evaluate open-source and closed-source frontier LLMs, and find that current models still struggle to produce complete solutions under coupled constraints. Beyond evaluation, reinforcement learning on verified PlanningBench data improves performance on unseen planning benchmarks and broader instruction-following tasks. Further analysis suggests that determinate or well-specified optimal solutions provide clearer reward signals and more stable training dynamics. Overall, PlanningBench provides a controllable source of planning data for diagnosing and improving generalizable planning abilities in LLMs.