GraphTracer: Grafisch geleid foutopsporing in LLM-agenten voor robuuste meerronde diepgaande zoekopdrachten

GraphTracer: Graph-Guided Failure Tracing in LLM Agents for Robust Multi-Turn Deep Search

October 12, 2025

Auteurs: Heng Zhang, Yuling Shi, Xiaodong Gu, Haochen You, Zijian Zhang, Lubin Gan, Yilei Yuan, Jin Huang

cs.AI

Samenvatting

Multi-agent systemen aangedreven door Large Language Models blinken uit in complexe taken door gecoördineerde samenwerking, maar kampen met hoge foutpercentages in multi-turn diepe zoekscenario's. Bestaande temporele attributiemethoden hebben moeite om de oorzaken nauwkeurig te diagnosticeren, vooral wanneer fouten zich verspreiden over meerdere agents. Pogingen om foutattributie te automatiseren door het analyseren van actievolgordes blijven ineffectief vanwege hun onvermogen om rekening te houden met informatieafhankelijkheden die agents overspannen. Dit artikel identificeert twee kernuitdagingen: (i) het onderscheiden van symptomen van oorzaken in multi-agent foutpropagatie, en (ii) het traceren van informatieafhankelijkheden verder dan temporele volgorde. Om deze problemen aan te pakken, introduceren we GraphTracer, een framework dat foutattributie herdefinieert door middel van informatieflowanalyse. GraphTracer construeert Information Dependency Graphs (IDG's) om expliciet vast te leggen hoe agents verwijzen naar en voortbouwen op eerdere uitvoer. Het lokaliseert oorzaken door door deze afhankelijkheidsstructuren te traceren in plaats van te vertrouwen op temporele sequenties. GraphTracer gebruikt ook grafiekbewuste synthetische datageneratie om kritieke nodes te targeten, waardoor realistische foutscenario's worden gecreëerd. Evaluaties op de Who\&When-benchmark en integratie in productiesystemen tonen aan dat GraphTracer-8B tot 18,18\% hogere attributienauwkeurigheid bereikt in vergelijking met state-of-the-art modellen en een prestatieverbetering van 4,8\% tot 14,2\% mogelijk maakt in geïmplementeerde multi-agent frameworks, waarmee een robuuste oplossing voor debugging van multi-agent systemen wordt gevestigd.

English

Multi-agent systems powered by Large Language Models excel at complex tasks through coordinated collaboration, yet they face high failure rates in multi-turn deep search scenarios. Existing temporal attribution methods struggle to accurately diagnose root causes, particularly when errors propagate across multiple agents. Attempts to automate failure attribution by analyzing action sequences remain ineffective due to their inability to account for information dependencies that span agents. This paper identifies two core challenges: (i) distinguishing symptoms from root causes in multi-agent error propagation, and (ii) tracing information dependencies beyond temporal order. To address these issues, we introduce GraphTracer, a framework that redefines failure attribution through information flow analysis. GraphTracer constructs Information Dependency Graphs (IDGs) to explicitly capture how agents reference and build on prior outputs. It localizes root causes by tracing through these dependency structures instead of relying on temporal sequences. GraphTracer also uses graph-aware synthetic data generation to target critical nodes, creating realistic failure scenarios. Evaluations on the Who\&When benchmark and integration into production systems demonstrate that GraphTracer-8B achieves up to 18.18\% higher attribution accuracy compared to state-of-the-art models and enables 4.8\% to 14.2\% performance improvements in deployed multi-agent frameworks, establishing a robust solution for multi-agent system debugging.