τ-Knowledge: Evaluatie van Conversatie-Agents op Basis van Ongestructureerde Kennis

τ-Knowledge: Evaluating Conversational Agents over Unstructured Knowledge

March 4, 2026

Auteurs: Quan Shi, Alexandra Zytek, Pedram Razavi, Karthik Narasimhan, Victor Barres

cs.AI

Samenvatting

Conversatie-agents worden steeds vaker ingezet in kennisintensieve omgevingen, waar correct gedrag afhangt van het ophalen en toepassen van domeinspecifieke kennis uit grote, propriëtaire en ongestructureerde corpora tijdens live interacties met gebruikers. Toch evalueren de meeste bestaande benchmarks retrieval of toolgebruik onafhankelijk van elkaar, wat een kloof creëert in realistische, volledig agentische evaluatie over ongestructureerde data in langdurige interacties. Wij introduceren τ-Knowledge, een uitbreiding van τ-Bench voor het evalueren van agents in omgevingen waar succes afhangt van het coördineren van externe, natuurlijktaalkundige kennis met tooloutputs om verifieerbare, beleidsconforme staatswijzigingen te produceren. Ons nieuwe domein, τ-Banking, modelleert realistische fintech-klantenondersteuningsworkflows waarin agents moeten navigeren door ongeveer 700 onderling verbonden kennisdocumenten terwijl ze tool-gemedieerde accountupdates uitvoeren. Over embedding-gebaseerde retrieval en terminal-gebaseerd zoeken heen, halen zelfs frontier-modellen met hoge redeneerbudgets slechts sim25.5% pass^1, waarbij de betrouwbaarheid sterk afneemt over herhaalde trials. Agents hebben moeite om de correcte documenten op te halen uit dicht verbonden kennisbanken en om accuraat te redeneren over complex intern beleid. Over het algemeen biedt τ-Knowledge een realistische testomgeving voor het ontwikkelen van agents die ongestructureerde kennis integreren in mensgerichte inzettingen.

English

Conversational agents are increasingly deployed in knowledge-intensive settings, where correct behavior depends on retrieving and applying domain-specific knowledge from large, proprietary, and unstructured corpora during live interactions with users. Yet most existing benchmarks evaluate retrieval or tool use independently of each other, creating a gap in realistic, fully agentic evaluation over unstructured data in long-horizon interactions. We introduce τ-Knowledge, an extension of τ-Bench for evaluating agents in environments where success depends on coordinating external, natural-language knowledge with tool outputs to produce verifiable, policy-compliant state changes. Our new domain, τ-Banking, models realistic fintech customer support workflows in which agents must navigate roughly 700 interconnected knowledge documents while executing tool-mediated account updates. Across embedding-based retrieval and terminal-based search, even frontier models with high reasoning budgets achieve only sim25.5% pass^1, with reliability degrading sharply over repeated trials. Agents struggle to retrieve the correct documents from densely interlinked knowledge bases and to reason accurately over complex internal policies. Overall, τ-Knowledge provides a realistic testbed for developing agents that integrate unstructured knowledge in human-facing deployments.