TravelPlanner: Un punto de referencia para la planificación en el mundo real con agentes de lenguaje
TravelPlanner: A Benchmark for Real-World Planning with Language Agents
February 2, 2024
Autores: Jian Xie, Kai Zhang, Jiangjie Chen, Tinghui Zhu, Renze Lou, Yuandong Tian, Yanghua Xiao, Yu Su
cs.AI
Resumen
La planificación ha sido parte fundamental de la inteligencia artificial desde sus inicios, pero los primeros agentes de IA se centraban principalmente en entornos restringidos debido a la falta de muchos de los sustratos cognitivos necesarios para una planificación a nivel humano. Recientemente, los agentes lingüísticos impulsados por modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han demostrado capacidades interesantes, como el uso de herramientas y el razonamiento. ¿Son estos agentes lingüísticos capaces de planificar en entornos más complejos que están fuera del alcance de los agentes de IA anteriores? Para avanzar en esta investigación, proponemos TravelPlanner, un nuevo punto de referencia para la planificación que se centra en la planificación de viajes, un escenario común de planificación en el mundo real. Este ofrece un entorno de pruebas enriquecido, diversas herramientas para acceder a casi cuatro millones de registros de datos, y 1,225 intenciones de planificación y planes de referencia cuidadosamente elaborados. Las evaluaciones exhaustivas muestran que los agentes lingüísticos actuales aún no son capaces de manejar tareas de planificación tan complejas; incluso GPT-4 solo alcanza una tasa de éxito del 0.6%. Los agentes lingüísticos tienen dificultades para mantenerse enfocados en la tarea, usar las herramientas adecuadas para recopilar información o gestionar múltiples restricciones. Sin embargo, destacamos que la mera posibilidad de que los agentes lingüísticos aborden un problema tan complejo representa en sí misma un avance no trivial. TravelPlanner proporciona un banco de pruebas desafiante pero significativo para futuros agentes lingüísticos.
English
Planning has been part of the core pursuit for artificial intelligence since
its conception, but earlier AI agents mostly focused on constrained settings
because many of the cognitive substrates necessary for human-level planning
have been lacking. Recently, language agents powered by large language models
(LLMs) have shown interesting capabilities such as tool use and reasoning. Are
these language agents capable of planning in more complex settings that are out
of the reach of prior AI agents? To advance this investigation, we propose
TravelPlanner, a new planning benchmark that focuses on travel planning, a
common real-world planning scenario. It provides a rich sandbox environment,
various tools for accessing nearly four million data records, and 1,225
meticulously curated planning intents and reference plans. Comprehensive
evaluations show that the current language agents are not yet capable of
handling such complex planning tasks-even GPT-4 only achieves a success rate of
0.6%. Language agents struggle to stay on task, use the right tools to collect
information, or keep track of multiple constraints. However, we note that the
mere possibility for language agents to tackle such a complex problem is in
itself non-trivial progress. TravelPlanner provides a challenging yet
meaningful testbed for future language agents.