TravelPlanner: Een Benchmark voor Real-World Planning met Taalagentschappen
TravelPlanner: A Benchmark for Real-World Planning with Language Agents
February 2, 2024
Auteurs: Jian Xie, Kai Zhang, Jiangjie Chen, Tinghui Zhu, Renze Lou, Yuandong Tian, Yanghua Xiao, Yu Su
cs.AI
Samenvatting
Planning is sinds het ontstaan van kunstmatige intelligentie een kernonderwerp geweest, maar eerdere AI-agenten richtten zich voornamelijk op beperkte omgevingen omdat veel van de cognitieve grondslagen die nodig zijn voor planning op menselijk niveau ontbraken. Recentelijk hebben taalagenten, aangedreven door grote taalmmodellen (LLMs), interessante capaciteiten getoond, zoals het gebruik van tools en redeneren. Zijn deze taalagenten in staat om te plannen in complexere omgevingen die buiten het bereik van eerdere AI-agenten liggen? Om dit onderzoek vooruit te helpen, stellen we TravelPlanner voor, een nieuwe benchmark voor planning die zich richt op reisplanning, een veelvoorkomend scenario uit de echte wereld. Het biedt een rijke sandbox-omgeving, diverse tools voor toegang tot bijna vier miljoen gegevensrecords, en 1.225 zorgvuldig samengestelde planningsoogmerken en referentieplannen. Uitgebreide evaluaties laten zien dat de huidige taalagenten nog niet in staat zijn om dergelijke complexe plannings taken aan te kunnen – zelfs GPT-4 behaalt slechts een slagingspercentage van 0,6%. Taalagenten hebben moeite om bij de taak te blijven, de juiste tools te gebruiken om informatie te verzamelen, of meerdere beperkingen bij te houden. Echter, wij merken op dat de mogelijkheid voor taalagenten om een dergelijk complex probleem aan te pakken op zichzelf al een niet-triviale vooruitgang is. TravelPlanner biedt een uitdagend maar betekenisvol testbed voor toekomstige taalagenten.
English
Planning has been part of the core pursuit for artificial intelligence since
its conception, but earlier AI agents mostly focused on constrained settings
because many of the cognitive substrates necessary for human-level planning
have been lacking. Recently, language agents powered by large language models
(LLMs) have shown interesting capabilities such as tool use and reasoning. Are
these language agents capable of planning in more complex settings that are out
of the reach of prior AI agents? To advance this investigation, we propose
TravelPlanner, a new planning benchmark that focuses on travel planning, a
common real-world planning scenario. It provides a rich sandbox environment,
various tools for accessing nearly four million data records, and 1,225
meticulously curated planning intents and reference plans. Comprehensive
evaluations show that the current language agents are not yet capable of
handling such complex planning tasks-even GPT-4 only achieves a success rate of
0.6%. Language agents struggle to stay on task, use the right tools to collect
information, or keep track of multiple constraints. However, we note that the
mere possibility for language agents to tackle such a complex problem is in
itself non-trivial progress. TravelPlanner provides a challenging yet
meaningful testbed for future language agents.