τ-Bench: Ein Benchmark für die Interaktion von Werkzeugen, Agenten und Benutzern in realen Domänen

τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains

June 17, 2024

Autoren: Shunyu Yao, Noah Shinn, Pedram Razavi, Karthik Narasimhan

cs.AI

Zusammenfassung

Bestehende Benchmarks testen Sprachagenten nicht auf ihre Interaktion mit menschlichen Benutzern oder ihre Fähigkeit, domänenspezifische Regeln zu befolgen, die beide für ihren Einsatz in realen Anwendungen entscheidend sind. Wir schlagen tau-bench vor, einen Benchmark, der dynamische Gespräche zwischen einem Benutzer (simuliert durch Sprachmodelle) und einem Sprachagenten nachbildet, der mit domänenspezifischen API-Tools und Richtlinien ausgestattet ist. Wir verwenden einen effizienten und verlässlichen Evaluierungsprozess, der den Datenbankzustand am Ende eines Gesprächs mit dem annotierten Zielzustand vergleicht. Wir schlagen auch eine neue Metrik (pass^k) vor, um die Zuverlässigkeit des Agentenverhaltens über mehrere Durchläufe zu bewerten. Unsere Experimente zeigen, dass selbst modernste Funktionsaufruf-Agenten (wie gpt-4o) bei <50% der Aufgaben erfolgreich sind und ziemlich inkonsistent sind (pass^8 <25% im Einzelhandel). Unsere Ergebnisse deuten auf die Notwendigkeit von Methoden hin, die die Fähigkeit von Agenten verbessern können, konsistent zu handeln und Regeln zuverlässig zu befolgen.

English

Existing benchmarks do not test language agents on their interaction with human users or ability to follow domain-specific rules, both of which are vital for deploying them in real world applications. We propose tau-bench, a benchmark emulating dynamic conversations between a user (simulated by language models) and a language agent provided with domain-specific API tools and policy guidelines. We employ an efficient and faithful evaluation process that compares the database state at the end of a conversation with the annotated goal state. We also propose a new metric (pass^k) to evaluate the reliability of agent behavior over multiple trials. Our experiments show that even state-of-the-art function calling agents (like gpt-4o) succeed on <50% of the tasks, and are quite inconsistent (pass^8 <25% in retail). Our findings point to the need for methods that can improve the ability of agents to act consistently and follow rules reliably.