PLANIFICACIÓN NATURAL: Evaluación de Modelos de Lenguaje en Planificación de Lenguaje Natural

NATURAL PLAN: Benchmarking LLMs on Natural Language Planning

June 6, 2024

Autores: Huaixiu Steven Zheng, Swaroop Mishra, Hugh Zhang, Xinyun Chen, Minmin Chen, Azade Nova, Le Hou, Heng-Tze Cheng, Quoc V. Le, Ed H. Chi, Denny Zhou

cs.AI

Resumen

Presentamos NATURAL PLAN, un punto de referencia realista para la planificación en lenguaje natural que contiene 3 tareas clave: Planificación de Viajes, Planificación de Reuniones y Programación de Calendarios. Centramos nuestra evaluación en las capacidades de planificación de los LLM con información completa sobre la tarea, proporcionando salidas de herramientas como Google Flights, Google Maps y Google Calendar como contextos para los modelos. Esto elimina la necesidad de un entorno de uso de herramientas para evaluar los LLM en planificación. Observamos que NATURAL PLAN es un punto de referencia desafiante para los modelos de última generación. Por ejemplo, en Planificación de Viajes, GPT-4 y Gemini 1.5 Pro solo lograron tasas de resolución del 31.1% y 34.8% respectivamente. Descubrimos que el rendimiento de los modelos cae drásticamente a medida que aumenta la complejidad del problema: todos los modelos obtienen un rendimiento inferior al 5% cuando hay 10 ciudades, lo que resalta una brecha significativa en la planificación en lenguaje natural para los LLM de última generación. También realizamos extensos estudios de ablación en NATURAL PLAN para arrojar más luz sobre la (in)efectividad de enfoques como la autocorrección, la generalización few-shot y la planificación en contexto con contextos largos para mejorar la planificación de los LLM.

English

We introduce NATURAL PLAN, a realistic planning benchmark in natural language containing 3 key tasks: Trip Planning, Meeting Planning, and Calendar Scheduling. We focus our evaluation on the planning capabilities of LLMs with full information on the task, by providing outputs from tools such as Google Flights, Google Maps, and Google Calendar as contexts to the models. This eliminates the need for a tool-use environment for evaluating LLMs on Planning. We observe that NATURAL PLAN is a challenging benchmark for state of the art models. For example, in Trip Planning, GPT-4 and Gemini 1.5 Pro could only achieve 31.1% and 34.8% solve rate respectively. We find that model performance drops drastically as the complexity of the problem increases: all models perform below 5% when there are 10 cities, highlighting a significant gap in planning in natural language for SoTA LLMs. We also conduct extensive ablation studies on NATURAL PLAN to further shed light on the (in)effectiveness of approaches such as self-correction, few-shot generalization, and in-context planning with long-contexts on improving LLM planning.