NATÜRLICHER PLAN: Benchmarking von LLMs im Bereich der natürlichen Sprachplanung

NATURAL PLAN: Benchmarking LLMs on Natural Language Planning

June 6, 2024

Autoren: Huaixiu Steven Zheng, Swaroop Mishra, Hugh Zhang, Xinyun Chen, Minmin Chen, Azade Nova, Le Hou, Heng-Tze Cheng, Quoc V. Le, Ed H. Chi, Denny Zhou

cs.AI

Zusammenfassung

Wir stellen NATURAL PLAN vor, einen realistischen Planungsbenchmark in natürlicher Sprache, der 3 Schlüsselaufgaben umfasst: Reiseplanung, Terminplanung und Kalenderplanung. Wir konzentrieren uns bei der Bewertung auf die Planungsfähigkeiten von LLMs mit vollständigen Informationen zur Aufgabe, indem wir Ausgaben von Tools wie Google Flights, Google Maps und Google Calendar als Kontexte für die Modelle bereitstellen. Dies beseitigt die Notwendigkeit einer Tool-Verwendungsumgebung zur Bewertung von LLMs in der Planung. Wir stellen fest, dass NATURAL PLAN ein anspruchsvoller Benchmark für modernste Modelle ist. Beispielsweise konnten GPT-4 und Gemini 1.5 Pro in der Reiseplanung nur eine Lösungsrate von 31,1% bzw. 34,8% erreichen. Wir stellen fest, dass die Leistung der Modelle drastisch abnimmt, wenn die Komplexität des Problems steigt: Alle Modelle erreichen eine Leistungsrate von unter 5%, wenn es 10 Städte gibt, was eine signifikante Lücke in der Planung in natürlicher Sprache für modernste LLMs hervorhebt. Wir führen auch umfangreiche Ablationsstudien an NATURAL PLAN durch, um weiteres Licht auf die (In-)Effektivität von Ansätzen wie Selbstkorrektur, Few-Shot-Generalisierung und In-Context-Planung mit langen Kontexten zur Verbesserung der LLM-Planung zu werfen.

English

We introduce NATURAL PLAN, a realistic planning benchmark in natural language containing 3 key tasks: Trip Planning, Meeting Planning, and Calendar Scheduling. We focus our evaluation on the planning capabilities of LLMs with full information on the task, by providing outputs from tools such as Google Flights, Google Maps, and Google Calendar as contexts to the models. This eliminates the need for a tool-use environment for evaluating LLMs on Planning. We observe that NATURAL PLAN is a challenging benchmark for state of the art models. For example, in Trip Planning, GPT-4 and Gemini 1.5 Pro could only achieve 31.1% and 34.8% solve rate respectively. We find that model performance drops drastically as the complexity of the problem increases: all models perform below 5% when there are 10 cities, highlighting a significant gap in planning in natural language for SoTA LLMs. We also conduct extensive ablation studies on NATURAL PLAN to further shed light on the (in)effectiveness of approaches such as self-correction, few-shot generalization, and in-context planning with long-contexts on improving LLM planning.