TravelPlanner: Бенчмарк для планирования в реальном мире с использованием языковых агентов
TravelPlanner: A Benchmark for Real-World Planning with Language Agents
February 2, 2024
Авторы: Jian Xie, Kai Zhang, Jiangjie Chen, Tinghui Zhu, Renze Lou, Yuandong Tian, Yanghua Xiao, Yu Su
cs.AI
Аннотация
Планирование с самого зарождения искусственного интеллекта было одной из ключевых задач, однако ранние ИИ-агенты в основном сосредотачивались на ограниченных сценариях, поскольку многие когнитивные основы, необходимые для планирования на уровне человека, отсутствовали. В последнее время языковые агенты, основанные на больших языковых моделях (LLM), продемонстрировали интересные возможности, такие как использование инструментов и рассуждения. Способны ли эти языковые агенты к планированию в более сложных условиях, недоступных для предыдущих ИИ-агентов? Для продвижения этого исследования мы предлагаем TravelPlanner — новый эталонный тест для планирования, ориентированный на планирование путешествий, что является распространённым сценарием в реальном мире. Он предоставляет богатую среду для экспериментов, различные инструменты для доступа к почти четырём миллионам записей данных, а также 1 225 тщательно отобранных целей планирования и эталонных планов. Комплексные оценки показывают, что современные языковые агенты пока не способны справляться с такими сложными задачами планирования — даже GPT-4 достигает успеха лишь в 0,6% случаев. Языковые агенты испытывают трудности с удержанием задачи, использованием правильных инструментов для сбора информации или учётом множества ограничений. Однако мы отмечаем, что сама возможность для языковых агентов решать такие сложные задачи уже является значительным прогрессом. TravelPlanner предоставляет сложный, но значимый тестовый стенд для будущих языковых агентов.
English
Planning has been part of the core pursuit for artificial intelligence since
its conception, but earlier AI agents mostly focused on constrained settings
because many of the cognitive substrates necessary for human-level planning
have been lacking. Recently, language agents powered by large language models
(LLMs) have shown interesting capabilities such as tool use and reasoning. Are
these language agents capable of planning in more complex settings that are out
of the reach of prior AI agents? To advance this investigation, we propose
TravelPlanner, a new planning benchmark that focuses on travel planning, a
common real-world planning scenario. It provides a rich sandbox environment,
various tools for accessing nearly four million data records, and 1,225
meticulously curated planning intents and reference plans. Comprehensive
evaluations show that the current language agents are not yet capable of
handling such complex planning tasks-even GPT-4 only achieves a success rate of
0.6%. Language agents struggle to stay on task, use the right tools to collect
information, or keep track of multiple constraints. However, we note that the
mere possibility for language agents to tackle such a complex problem is in
itself non-trivial progress. TravelPlanner provides a challenging yet
meaningful testbed for future language agents.