NATURAL PLAN: Avaliando Modelos de Linguagem de Grande Escala em Planejamento de Linguagem Natural

NATURAL PLAN: Benchmarking LLMs on Natural Language Planning

June 6, 2024

Autores: Huaixiu Steven Zheng, Swaroop Mishra, Hugh Zhang, Xinyun Chen, Minmin Chen, Azade Nova, Le Hou, Heng-Tze Cheng, Quoc V. Le, Ed H. Chi, Denny Zhou

cs.AI

Resumo

Apresentamos o NATURAL PLAN, um benchmark realista de planejamento em linguagem natural que contém 3 tarefas principais: Planejamento de Viagens, Planejamento de Reuniões e Agendamento de Calendário. Focamos nossa avaliação nas capacidades de planejamento de LLMs (Modelos de Linguagem de Grande Escala) com informações completas sobre a tarefa, fornecendo saídas de ferramentas como Google Flights, Google Maps e Google Calendar como contextos para os modelos. Isso elimina a necessidade de um ambiente de uso de ferramentas para avaliar LLMs em Planejamento. Observamos que o NATURAL PLAN é um benchmark desafiador para os modelos state of the art. Por exemplo, no Planejamento de Viagens, GPT-4 e Gemini 1.5 Pro conseguiram apenas taxas de resolução de 31,1% e 34,8%, respectivamente. Descobrimos que o desempenho dos modelos cai drasticamente à medida que a complexidade do problema aumenta: todos os modelos performam abaixo de 5% quando há 10 cidades, destacando uma lacuna significativa no planejamento em linguagem natural para LLMs SoTA. Também realizamos extensos estudos de ablação no NATURAL PLAN para esclarecer ainda mais a (in)efetividade de abordagens como autocorreção, generalização few-shot e planejamento em contexto com longos contextos na melhoria do planejamento de LLMs.

English

We introduce NATURAL PLAN, a realistic planning benchmark in natural language containing 3 key tasks: Trip Planning, Meeting Planning, and Calendar Scheduling. We focus our evaluation on the planning capabilities of LLMs with full information on the task, by providing outputs from tools such as Google Flights, Google Maps, and Google Calendar as contexts to the models. This eliminates the need for a tool-use environment for evaluating LLMs on Planning. We observe that NATURAL PLAN is a challenging benchmark for state of the art models. For example, in Trip Planning, GPT-4 and Gemini 1.5 Pro could only achieve 31.1% and 34.8% solve rate respectively. We find that model performance drops drastically as the complexity of the problem increases: all models perform below 5% when there are 10 cities, highlighting a significant gap in planning in natural language for SoTA LLMs. We also conduct extensive ablation studies on NATURAL PLAN to further shed light on the (in)effectiveness of approaches such as self-correction, few-shot generalization, and in-context planning with long-contexts on improving LLM planning.