TravelPlanner : Un Benchmark pour la Planification en Monde Réel avec des Agents Linguistiques
TravelPlanner: A Benchmark for Real-World Planning with Language Agents
February 2, 2024
Auteurs: Jian Xie, Kai Zhang, Jiangjie Chen, Tinghui Zhu, Renze Lou, Yuandong Tian, Yanghua Xiao, Yu Su
cs.AI
Résumé
La planification fait partie des objectifs fondamentaux de l'intelligence artificielle depuis sa conception, mais les premiers agents d'IA se concentraient principalement sur des environnements contraints, car de nombreux substrats cognitifs nécessaires à une planification de niveau humain faisaient défaut. Récemment, les agents linguistiques alimentés par des modèles de langage de grande taille (LLMs) ont démontré des capacités intéressantes, telles que l'utilisation d'outils et le raisonnement. Ces agents linguistiques sont-ils capables de planifier dans des environnements plus complexes, hors de portée des agents d'IA précédents ? Pour approfondir cette question, nous proposons TravelPlanner, un nouveau benchmark de planification axé sur la planification de voyages, un scénario de planification courant dans le monde réel. Il offre un environnement sandbox riche, divers outils pour accéder à près de quatre millions d'enregistrements de données, ainsi que 1 225 intentions de planification et plans de référence soigneusement élaborés. Les évaluations approfondies montrent que les agents linguistiques actuels ne sont pas encore capables de gérer des tâches de planification aussi complexes - même GPT-4 n'atteint qu'un taux de réussite de 0,6 %. Les agents linguistiques ont du mal à rester concentrés sur la tâche, à utiliser les bons outils pour collecter des informations ou à suivre plusieurs contraintes simultanément. Cependant, nous soulignons que la simple possibilité pour les agents linguistiques de s'attaquer à un problème aussi complexe représente en soi un progrès non négligeable. TravelPlanner offre un banc d'essai à la fois stimulant et significatif pour les futurs agents linguistiques.
English
Planning has been part of the core pursuit for artificial intelligence since
its conception, but earlier AI agents mostly focused on constrained settings
because many of the cognitive substrates necessary for human-level planning
have been lacking. Recently, language agents powered by large language models
(LLMs) have shown interesting capabilities such as tool use and reasoning. Are
these language agents capable of planning in more complex settings that are out
of the reach of prior AI agents? To advance this investigation, we propose
TravelPlanner, a new planning benchmark that focuses on travel planning, a
common real-world planning scenario. It provides a rich sandbox environment,
various tools for accessing nearly four million data records, and 1,225
meticulously curated planning intents and reference plans. Comprehensive
evaluations show that the current language agents are not yet capable of
handling such complex planning tasks-even GPT-4 only achieves a success rate of
0.6%. Language agents struggle to stay on task, use the right tools to collect
information, or keep track of multiple constraints. However, we note that the
mere possibility for language agents to tackle such a complex problem is in
itself non-trivial progress. TravelPlanner provides a challenging yet
meaningful testbed for future language agents.