τ-bench : Un benchmark pour l'interaction outil-agent-utilisateur dans des domaines du monde réel

τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains

June 17, 2024

Auteurs: Shunyu Yao, Noah Shinn, Pedram Razavi, Karthik Narasimhan

cs.AI

Résumé

Les benchmarks existants ne testent pas les agents linguistiques sur leur interaction avec les utilisateurs humains ni sur leur capacité à suivre des règles spécifiques à un domaine, deux aspects pourtant essentiels pour leur déploiement dans des applications réelles. Nous proposons tau-bench, un benchmark simulant des conversations dynamiques entre un utilisateur (simulé par des modèles de langage) et un agent linguistique doté d'outils API spécifiques au domaine et de directives de politique. Nous utilisons un processus d'évaluation efficace et fidèle qui compare l'état de la base de données à la fin d'une conversation avec l'état objectif annoté. Nous proposons également une nouvelle métrique (pass^k) pour évaluer la fiabilité du comportement de l'agent sur plusieurs essais. Nos expériences montrent que même les agents d'appel de fonction les plus avancés (comme gpt-4o) réussissent moins de 50 % des tâches et sont assez incohérents (pass^8 <25 % dans le secteur de la vente au détail). Nos résultats soulignent la nécessité de méthodes capables d'améliorer la capacité des agents à agir de manière cohérente et à suivre les règles de manière fiable.

English

Existing benchmarks do not test language agents on their interaction with human users or ability to follow domain-specific rules, both of which are vital for deploying them in real world applications. We propose tau-bench, a benchmark emulating dynamic conversations between a user (simulated by language models) and a language agent provided with domain-specific API tools and policy guidelines. We employ an efficient and faithful evaluation process that compares the database state at the end of a conversation with the annotated goal state. We also propose a new metric (pass^k) to evaluate the reliability of agent behavior over multiple trials. Our experiments show that even state-of-the-art function calling agents (like gpt-4o) succeed on <50% of the tasks, and are quite inconsistent (pass^8 <25% in retail). Our findings point to the need for methods that can improve the ability of agents to act consistently and follow rules reliably.