NATURAL PLAN: Valutazione dei Modelli Linguistici su Pianificazione in Linguaggio Naturale

NATURAL PLAN: Benchmarking LLMs on Natural Language Planning

June 6, 2024

Autori: Huaixiu Steven Zheng, Swaroop Mishra, Hugh Zhang, Xinyun Chen, Minmin Chen, Azade Nova, Le Hou, Heng-Tze Cheng, Quoc V. Le, Ed H. Chi, Denny Zhou

cs.AI

Abstract

Presentiamo NATURAL PLAN, un benchmark realistico per la pianificazione in linguaggio naturale che comprende 3 compiti chiave: Pianificazione di Viaggi, Pianificazione di Riunioni e Programmazione di Calendari. Concentriamo la nostra valutazione sulle capacità di pianificazione dei LLM con informazioni complete sul compito, fornendo come contesto ai modelli output provenienti da strumenti come Google Flights, Google Maps e Google Calendar. Questo elimina la necessità di un ambiente di utilizzo di strumenti per valutare i LLM sulla pianificazione. Osserviamo che NATURAL PLAN rappresenta una sfida significativa per i modelli all'avanguardia. Ad esempio, nella Pianificazione di Viaggi, GPT-4 e Gemini 1.5 Pro hanno raggiunto rispettivamente solo il 31,1% e il 34,8% di tasso di risoluzione. Notiamo che le prestazioni dei modelli diminuiscono drasticamente all'aumentare della complessità del problema: tutti i modelli ottengono risultati inferiori al 5% quando sono coinvolte 10 città, evidenziando un divario significativo nella pianificazione in linguaggio naturale per i LLM all'avanguardia. Conduciamo inoltre ampi studi di ablazione su NATURAL PLAN per approfondire l'(in)efficacia di approcci come l'autocorrezione, la generalizzazione few-shot e la pianificazione in-context con contesti lunghi nel migliorare la pianificazione dei LLM.

English

We introduce NATURAL PLAN, a realistic planning benchmark in natural language containing 3 key tasks: Trip Planning, Meeting Planning, and Calendar Scheduling. We focus our evaluation on the planning capabilities of LLMs with full information on the task, by providing outputs from tools such as Google Flights, Google Maps, and Google Calendar as contexts to the models. This eliminates the need for a tool-use environment for evaluating LLMs on Planning. We observe that NATURAL PLAN is a challenging benchmark for state of the art models. For example, in Trip Planning, GPT-4 and Gemini 1.5 Pro could only achieve 31.1% and 34.8% solve rate respectively. We find that model performance drops drastically as the complexity of the problem increases: all models perform below 5% when there are 10 cities, highlighting a significant gap in planning in natural language for SoTA LLMs. We also conduct extensive ablation studies on NATURAL PLAN to further shed light on the (in)effectiveness of approaches such as self-correction, few-shot generalization, and in-context planning with long-contexts on improving LLM planning.