NATURAL PLAN : Évaluation des LLM sur la planification en langage naturel

NATURAL PLAN: Benchmarking LLMs on Natural Language Planning

June 6, 2024

Auteurs: Huaixiu Steven Zheng, Swaroop Mishra, Hugh Zhang, Xinyun Chen, Minmin Chen, Azade Nova, Le Hou, Heng-Tze Cheng, Quoc V. Le, Ed H. Chi, Denny Zhou

cs.AI

Résumé

Nous présentons NATURAL PLAN, un benchmark réaliste de planification en langage naturel comprenant trois tâches clés : la planification de voyage, la planification de réunion et la planification d'agenda. Nous concentrons notre évaluation sur les capacités de planification des LLM avec une information complète sur la tâche, en fournissant les sorties d'outils tels que Google Flights, Google Maps et Google Calendar comme contextes aux modèles. Cela élimine le besoin d'un environnement d'utilisation d'outils pour évaluer les LLM sur la planification. Nous observons que NATURAL PLAN est un benchmark difficile pour les modèles de pointe. Par exemple, dans la planification de voyage, GPT-4 et Gemini 1.5 Pro n'ont pu atteindre que des taux de résolution de 31,1 % et 34,8 % respectivement. Nous constatons que les performances des modèles chutent considérablement à mesure que la complexité du problème augmente : tous les modèles obtiennent des résultats inférieurs à 5 % lorsqu'il y a 10 villes, ce qui met en évidence un écart significatif dans la planification en langage naturel pour les LLM de pointe. Nous menons également des études d'ablation approfondies sur NATURAL PLAN pour mieux comprendre l'(in)efficacité des approches telles que l'auto-correction, la généralisation en few-shot et la planification en contexte avec des contextes longs pour améliorer la planisation des LLM.

English

We introduce NATURAL PLAN, a realistic planning benchmark in natural language containing 3 key tasks: Trip Planning, Meeting Planning, and Calendar Scheduling. We focus our evaluation on the planning capabilities of LLMs with full information on the task, by providing outputs from tools such as Google Flights, Google Maps, and Google Calendar as contexts to the models. This eliminates the need for a tool-use environment for evaluating LLMs on Planning. We observe that NATURAL PLAN is a challenging benchmark for state of the art models. For example, in Trip Planning, GPT-4 and Gemini 1.5 Pro could only achieve 31.1% and 34.8% solve rate respectively. We find that model performance drops drastically as the complexity of the problem increases: all models perform below 5% when there are 10 cities, highlighting a significant gap in planning in natural language for SoTA LLMs. We also conduct extensive ablation studies on NATURAL PLAN to further shed light on the (in)effectiveness of approaches such as self-correction, few-shot generalization, and in-context planning with long-contexts on improving LLM planning.