τ-Wissen: Bewertung von Konversationsagenten anhand unstrukturierten Wissens
τ-Knowledge: Evaluating Conversational Agents over Unstructured Knowledge
March 4, 2026
Autoren: Quan Shi, Alexandra Zytek, Pedram Razavi, Karthik Narasimhan, Victor Barres
cs.AI
Zusammenfassung
Konversationsagenten werden zunehmend in wissensintensiven Umgebungen eingesetzt, in denen korrektes Verhalten davon abhängt, domänenspezifisches Wissen aus großen, proprietären und unstrukturierten Korpora während laufender Interaktionen mit Nutzern abzurufen und anzuwenden. Dennoch bewerten die meisten bestehenden Benchmarks das Retrieval oder die Werkzeugnutzung weitgehend unabhängig voneinander, was eine Lücke in der realistischen, vollständig agentischen Evaluation über unstrukturierte Daten in langfristigen Interaktionen schafft. Wir stellen τ-Knowledge vor, eine Erweiterung von τ-Bench zur Bewertung von Agenten in Umgebungen, in denen der Erfolg von der Koordination externen, natürlichsprachlichen Wissens mit Werkzeugausgaben abhängt, um überprüfbare, richtlinienkonforme Zustandsänderungen zu erzeugen. Unsere neue Domäne, τ-Banking, modelliert realistische Fintech-Kundensupport-Workflows, in denen Agenten etwa 700 miteinander verbundene Wissensdokumente navigieren müssen, während sie werkzeugvermittelte Kontenupdates durchführen. Über einbettungsbasiertes Retrieval und terminalbasierte Suche hinweg erreichen selbst führende Modelle mit hohen Reasoning-Budgets nur sim25,5% Pass^1, wobei die Zuverlässigkeit über wiederholte Versuche stark abnimmt. Agenten haben Schwierigkeiten, die korrekten Dokumente aus dicht vernetzten Wissensbasen abzurufen und präzise über komplexe interne Richtlinien zu schlussfolgern. Insgesamt bietet τ-Knowledge eine realistische Testumgebung für die Entwicklung von Agenten, die unstrukturiertes Wissen in nutzerorientierten Einsätzen integrieren.
English
Conversational agents are increasingly deployed in knowledge-intensive settings, where correct behavior depends on retrieving and applying domain-specific knowledge from large, proprietary, and unstructured corpora during live interactions with users. Yet most existing benchmarks evaluate retrieval or tool use independently of each other, creating a gap in realistic, fully agentic evaluation over unstructured data in long-horizon interactions. We introduce τ-Knowledge, an extension of τ-Bench for evaluating agents in environments where success depends on coordinating external, natural-language knowledge with tool outputs to produce verifiable, policy-compliant state changes. Our new domain, τ-Banking, models realistic fintech customer support workflows in which agents must navigate roughly 700 interconnected knowledge documents while executing tool-mediated account updates. Across embedding-based retrieval and terminal-based search, even frontier models with high reasoning budgets achieve only sim25.5% pass^1, with reliability degrading sharply over repeated trials. Agents struggle to retrieve the correct documents from densely interlinked knowledge bases and to reason accurately over complex internal policies. Overall, τ-Knowledge provides a realistic testbed for developing agents that integrate unstructured knowledge in human-facing deployments.