TravelPlanner: Um Benchmark para Planejamento no Mundo Real com Agentes de Linguagem
TravelPlanner: A Benchmark for Real-World Planning with Language Agents
February 2, 2024
Autores: Jian Xie, Kai Zhang, Jiangjie Chen, Tinghui Zhu, Renze Lou, Yuandong Tian, Yanghua Xiao, Yu Su
cs.AI
Resumo
O planejamento tem sido parte central da busca pela inteligência artificial desde sua concepção, mas os agentes de IA anteriores focavam principalmente em cenários restritos, pois muitos dos substratos cognitivos necessários para o planejamento em nível humano estavam ausentes. Recentemente, agentes de linguagem impulsionados por modelos de linguagem de grande escala (LLMs) demonstraram capacidades interessantes, como o uso de ferramentas e raciocínio. Esses agentes de linguagem são capazes de planejar em cenários mais complexos, que estavam além do alcance dos agentes de IA anteriores? Para avançar essa investigação, propomos o TravelPlanner, um novo benchmark de planejamento focado no planejamento de viagens, um cenário comum de planejamento no mundo real. Ele oferece um ambiente sandbox rico, diversas ferramentas para acessar quase quatro milhões de registros de dados e 1.225 intenções de planejamento e planos de referência meticulosamente elaborados. Avaliações abrangentes mostram que os atuais agentes de linguagem ainda não são capazes de lidar com tarefas de planejamento tão complexas - mesmo o GPT-4 alcança uma taxa de sucesso de apenas 0,6%. Os agentes de linguagem têm dificuldade em manter o foco na tarefa, usar as ferramentas certas para coletar informações ou acompanhar múltiplas restrições. No entanto, observamos que a mera possibilidade de agentes de linguagem abordarem um problema tão complexo já representa um progresso não trivial. O TravelPlanner oferece um ambiente de teste desafiador, porém significativo, para futuros agentes de linguagem.
English
Planning has been part of the core pursuit for artificial intelligence since
its conception, but earlier AI agents mostly focused on constrained settings
because many of the cognitive substrates necessary for human-level planning
have been lacking. Recently, language agents powered by large language models
(LLMs) have shown interesting capabilities such as tool use and reasoning. Are
these language agents capable of planning in more complex settings that are out
of the reach of prior AI agents? To advance this investigation, we propose
TravelPlanner, a new planning benchmark that focuses on travel planning, a
common real-world planning scenario. It provides a rich sandbox environment,
various tools for accessing nearly four million data records, and 1,225
meticulously curated planning intents and reference plans. Comprehensive
evaluations show that the current language agents are not yet capable of
handling such complex planning tasks-even GPT-4 only achieves a success rate of
0.6%. Language agents struggle to stay on task, use the right tools to collect
information, or keep track of multiple constraints. However, we note that the
mere possibility for language agents to tackle such a complex problem is in
itself non-trivial progress. TravelPlanner provides a challenging yet
meaningful testbed for future language agents.