τ-bench: Een benchmark voor Tool-Agent-Gebruiker Interactie in Real-World Domeinen
τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains
June 17, 2024
Auteurs: Shunyu Yao, Noah Shinn, Pedram Razavi, Karthik Narasimhan
cs.AI
Samenvatting
Bestaande benchmarks testen taalagentschappen niet op hun interactie met menselijke gebruikers of hun vermogen om domeinspecifieke regels te volgen, terwijl beide cruciaal zijn voor de inzet ervan in real-world toepassingen. Wij stellen tau-bench voor, een benchmark die dynamische gesprekken nabootst tussen een gebruiker (gesimuleerd door taalmodelen) en een taalagentschap dat is uitgerust met domeinspecifieke API-tools en beleidsrichtlijnen. We gebruiken een efficiënt en betrouwbaar evaluatieproces dat de databasestatus aan het einde van een gesprek vergelijkt met de geannoteerde doelstatus. We introduceren ook een nieuwe metriek (pass^k) om de betrouwbaarheid van het gedrag van het agentschap over meerdere trials te evalueren. Onze experimenten tonen aan dat zelfs state-of-the-art functieaanroepende agentschappen (zoals gpt-4o) in minder dan 50% van de taken slagen en behoorlijk inconsistent zijn (pass^8 <25% in retail). Onze bevindingen wijzen op de noodzaak voor methoden die het vermogen van agentschappen kunnen verbeteren om consistent te handelen en regels betrouwbaar te volgen.
English
Existing benchmarks do not test language agents on their interaction with
human users or ability to follow domain-specific rules, both of which are vital
for deploying them in real world applications. We propose tau-bench, a
benchmark emulating dynamic conversations between a user (simulated by language
models) and a language agent provided with domain-specific API tools and policy
guidelines. We employ an efficient and faithful evaluation process that
compares the database state at the end of a conversation with the annotated
goal state. We also propose a new metric (pass^k) to evaluate the reliability
of agent behavior over multiple trials. Our experiments show that even
state-of-the-art function calling agents (like gpt-4o) succeed on <50% of the
tasks, and are quite inconsistent (pass^8 <25% in retail). Our findings point
to the need for methods that can improve the ability of agents to act
consistently and follow rules reliably.