ЕСТЕСТВЕННЫЙ ПЛАН: Сравнение LLM на естественном языковом планировании

NATURAL PLAN: Benchmarking LLMs on Natural Language Planning

June 6, 2024

Авторы: Huaixiu Steven Zheng, Swaroop Mishra, Hugh Zhang, Xinyun Chen, Minmin Chen, Azade Nova, Le Hou, Heng-Tze Cheng, Quoc V. Le, Ed H. Chi, Denny Zhou

cs.AI

Аннотация

Мы представляем NATURAL PLAN, реалистичный бенчмарк по планированию на естественном языке, включающий 3 основные задачи: Планирование поездки, Планирование встречи и Планирование календаря. Мы сосредотачиваемся на оценке планировочных возможностей LLM с полной информацией о задаче, предоставляя выводы из инструментов, таких как Google Flights, Google Maps и Google Calendar в качестве контекста для моделей. Это исключает необходимость использования среды инструментов для оценки LLM по планированию. Мы замечаем, что NATURAL PLAN представляет собой сложный бенчмарк для моделей последнего поколения. Например, в задаче Планирования поездки GPT-4 и Gemini 1.5 Pro смогли достичь лишь 31.1% и 34.8% соответственно. Мы обнаруживаем, что производительность модели резко снижается с увеличением сложности задачи: все модели показывают результаты ниже 5%, когда городов 10, что подчеркивает значительный разрыв в планировании на естественном языке для моделей последнего поколения. Мы также проводим обширные исследования по абляции на NATURAL PLAN, чтобы дополнительно прояснить (не)эффективность подходов, таких как самокоррекция, обобщение с небольшим количеством данных и планирование с длинными контекстами для улучшения планирования LLM.

English

We introduce NATURAL PLAN, a realistic planning benchmark in natural language containing 3 key tasks: Trip Planning, Meeting Planning, and Calendar Scheduling. We focus our evaluation on the planning capabilities of LLMs with full information on the task, by providing outputs from tools such as Google Flights, Google Maps, and Google Calendar as contexts to the models. This eliminates the need for a tool-use environment for evaluating LLMs on Planning. We observe that NATURAL PLAN is a challenging benchmark for state of the art models. For example, in Trip Planning, GPT-4 and Gemini 1.5 Pro could only achieve 31.1% and 34.8% solve rate respectively. We find that model performance drops drastically as the complexity of the problem increases: all models perform below 5% when there are 10 cities, highlighting a significant gap in planning in natural language for SoTA LLMs. We also conduct extensive ablation studies on NATURAL PLAN to further shed light on the (in)effectiveness of approaches such as self-correction, few-shot generalization, and in-context planning with long-contexts on improving LLM planning.