τ-Conocimiento: Evaluación de Agentes Conversacionales sobre Conocimiento No Estructurado
τ-Knowledge: Evaluating Conversational Agents over Unstructured Knowledge
March 4, 2026
Autores: Quan Shi, Alexandra Zytek, Pedram Razavi, Karthik Narasimhan, Victor Barres
cs.AI
Resumen
Los agentes conversacionales se despliegan cada vez más en entornos intensivos en conocimiento, donde el comportamiento correcto depende de recuperar y aplicar conocimiento específico del dominio a partir de grandes corpus no estructurados y propietarios durante interacciones en tiempo real con usuarios. Sin embargo, la mayoría de los puntos de referencia existentes evalúan la recuperación o el uso de herramientas de forma independiente, creando una brecha en la evaluación realista y completamente agéntica sobre datos no estructurados en interacciones de horizonte largo. Presentamos τ-Knowledge, una extensión de τ-Bench para evaluar agentes en entornos donde el éxito depende de coordinar conocimiento externo en lenguaje natural con las salidas de herramientas para producir cambios de estado verificables y conformes a políticas. Nuestro nuevo dominio, τ-Banking, modela flujos de trabajo realistas de soporte al cliente en fintech, en los que los agentes deben navegar aproximadamente 700 documentos de conocimiento interconectados mientras ejecutan actualizaciones de cuenta mediadas por herramientas. Tanto en la recuperación basada en *embeddings* como en la búsqueda basada en terminales, incluso los modelos más avanzados con altos presupuestos de razonamiento alcanzan solo un ∼25.5% de aprobación, con una confiabilidad que se degrada marcadamente en ensayos repetidos. Los agentes tienen dificultades para recuperar los documentos correctos de bases de conocimiento densamente interconectadas y para razonar con precisión sobre políticas internas complejas. En general, τ-Knowledge proporciona un banco de pruebas realista para desarrollar agentes que integren conocimiento no estructurado en despliegues orientados a humanos.
English
Conversational agents are increasingly deployed in knowledge-intensive settings, where correct behavior depends on retrieving and applying domain-specific knowledge from large, proprietary, and unstructured corpora during live interactions with users. Yet most existing benchmarks evaluate retrieval or tool use independently of each other, creating a gap in realistic, fully agentic evaluation over unstructured data in long-horizon interactions. We introduce τ-Knowledge, an extension of τ-Bench for evaluating agents in environments where success depends on coordinating external, natural-language knowledge with tool outputs to produce verifiable, policy-compliant state changes. Our new domain, τ-Banking, models realistic fintech customer support workflows in which agents must navigate roughly 700 interconnected knowledge documents while executing tool-mediated account updates. Across embedding-based retrieval and terminal-based search, even frontier models with high reasoning budgets achieve only sim25.5% pass^1, with reliability degrading sharply over repeated trials. Agents struggle to retrieve the correct documents from densely interlinked knowledge bases and to reason accurately over complex internal policies. Overall, τ-Knowledge provides a realistic testbed for developing agents that integrate unstructured knowledge in human-facing deployments.