NATURAL PLAN: Het benchmarken van LLM's op natuurlijke taalplanning

NATURAL PLAN: Benchmarking LLMs on Natural Language Planning

June 6, 2024

Auteurs: Huaixiu Steven Zheng, Swaroop Mishra, Hugh Zhang, Xinyun Chen, Minmin Chen, Azade Nova, Le Hou, Heng-Tze Cheng, Quoc V. Le, Ed H. Chi, Denny Zhou

cs.AI

Samenvatting

We introduceren NATURAL PLAN, een realistische planningsbenchmark in natuurlijke taal die 3 belangrijke taken omvat: Reisplanning, Vergaderplanning en Agendaplanning. We richten onze evaluatie op de planningscapaciteiten van LLM's met volledige informatie over de taak, door uitvoer van tools zoals Google Flights, Google Maps en Google Calendar als context aan de modellen te verstrekken. Hierdoor is er geen tool-gebruiksomgeving nodig om LLM's op planningsvaardigheden te evalueren. We merken op dat NATURAL PLAN een uitdagende benchmark is voor state-of-the-art modellen. Bijvoorbeeld, bij Reisplanning konden GPT-4 en Gemini 1.5 Pro slechts een oplossingspercentage van respectievelijk 31,1% en 34,8% behalen. We constateren dat de modelprestaties drastisch dalen naarmate de complexiteit van het probleem toeneemt: alle modellen presteren onder de 5% wanneer er 10 steden betrokken zijn, wat een aanzienlijk gat in planningsvaardigheden in natuurlijke taal voor SoTA LLM's blootlegt. We voeren ook uitgebreide ablatiestudies uit op NATURAL PLAN om verder inzicht te geven in de (on)effectiviteit van benaderingen zoals zelfcorrectie, few-shot generalisatie en in-context planning met lange contexten bij het verbeteren van LLM-planningsvaardigheden.

English

We introduce NATURAL PLAN, a realistic planning benchmark in natural language containing 3 key tasks: Trip Planning, Meeting Planning, and Calendar Scheduling. We focus our evaluation on the planning capabilities of LLMs with full information on the task, by providing outputs from tools such as Google Flights, Google Maps, and Google Calendar as contexts to the models. This eliminates the need for a tool-use environment for evaluating LLMs on Planning. We observe that NATURAL PLAN is a challenging benchmark for state of the art models. For example, in Trip Planning, GPT-4 and Gemini 1.5 Pro could only achieve 31.1% and 34.8% solve rate respectively. We find that model performance drops drastically as the complexity of the problem increases: all models perform below 5% when there are 10 cities, highlighting a significant gap in planning in natural language for SoTA LLMs. We also conduct extensive ablation studies on NATURAL PLAN to further shed light on the (in)effectiveness of approaches such as self-correction, few-shot generalization, and in-context planning with long-contexts on improving LLM planning.