GraphTracer: Rastreamento de Falhas Orientado por Grafos em Agentes de LLM para Busca Profunda Robusta em Múltiplos Turnos

GraphTracer: Graph-Guided Failure Tracing in LLM Agents for Robust Multi-Turn Deep Search

October 12, 2025

Autores: Heng Zhang, Yuling Shi, Xiaodong Gu, Haochen You, Zijian Zhang, Lubin Gan, Yilei Yuan, Jin Huang

cs.AI

Resumo

Sistemas multiagentes impulsionados por Modelos de Linguagem de Grande Escala se destacam em tarefas complexas por meio de colaboração coordenada, mas enfrentam altas taxas de falha em cenários de busca profunda com múltiplos turnos. Os métodos existentes de atribuição temporal lutam para diagnosticar com precisão as causas raiz, especialmente quando os erros se propagam por vários agentes. Tentativas de automatizar a atribuição de falhas analisando sequências de ações permanecem ineficazes devido à incapacidade de considerar dependências de informações que abrangem múltiplos agentes. Este artigo identifica dois desafios centrais: (i) distinguir sintomas de causas raiz na propagação de erros em sistemas multiagentes, e (ii) rastrear dependências de informações além da ordem temporal. Para abordar esses problemas, introduzimos o GraphTracer, uma estrutura que redefine a atribuição de falhas por meio da análise de fluxo de informações. O GraphTracer constrói Grafos de Dependência de Informação (IDGs) para capturar explicitamente como os agentes referenciam e constroem sobre saídas anteriores. Ele localiza causas raiz rastreando essas estruturas de dependência em vez de confiar em sequências temporais. O GraphTracer também utiliza geração sintética de dados com consciência de grafo para direcionar nós críticos, criando cenários de falha realistas. Avaliações no benchmark Who\&When e integração em sistemas de produção demonstram que o GraphTracer-8B alcança até 18,18\% maior precisão de atribuição em comparação com os modelos state-of-the-art e permite melhorias de desempenho de 4,8\% a 14,2\% em estruturas multiagentes implantadas, estabelecendo uma solução robusta para depuração de sistemas multiagentes.

English

Multi-agent systems powered by Large Language Models excel at complex tasks through coordinated collaboration, yet they face high failure rates in multi-turn deep search scenarios. Existing temporal attribution methods struggle to accurately diagnose root causes, particularly when errors propagate across multiple agents. Attempts to automate failure attribution by analyzing action sequences remain ineffective due to their inability to account for information dependencies that span agents. This paper identifies two core challenges: (i) distinguishing symptoms from root causes in multi-agent error propagation, and (ii) tracing information dependencies beyond temporal order. To address these issues, we introduce GraphTracer, a framework that redefines failure attribution through information flow analysis. GraphTracer constructs Information Dependency Graphs (IDGs) to explicitly capture how agents reference and build on prior outputs. It localizes root causes by tracing through these dependency structures instead of relying on temporal sequences. GraphTracer also uses graph-aware synthetic data generation to target critical nodes, creating realistic failure scenarios. Evaluations on the Who\&When benchmark and integration into production systems demonstrate that GraphTracer-8B achieves up to 18.18\% higher attribution accuracy compared to state-of-the-art models and enables 4.8\% to 14.2\% performance improvements in deployed multi-agent frameworks, establishing a robust solution for multi-agent system debugging.