GraphTracer: Граф-ориентированное отслеживание сбоев в агентах на основе больших языковых моделей для устойчивого многошагового глубокого поиска

GraphTracer: Graph-Guided Failure Tracing in LLM Agents for Robust Multi-Turn Deep Search

October 12, 2025

Авторы: Heng Zhang, Yuling Shi, Xiaodong Gu, Haochen You, Zijian Zhang, Lubin Gan, Yilei Yuan, Jin Huang

cs.AI

Аннотация

Многоагентные системы, основанные на крупных языковых моделях, превосходно справляются со сложными задачами благодаря скоординированному взаимодействию, однако они сталкиваются с высоким уровнем сбоев в сценариях многошагового глубокого поиска. Существующие методы временной атрибуции не способны точно диагностировать корневые причины, особенно когда ошибки распространяются между несколькими агентами. Попытки автоматизировать атрибуцию сбоев путем анализа последовательностей действий остаются неэффективными из-за неспособности учитывать информационные зависимости, охватывающие нескольких агентов. В данной статье выделены две ключевые проблемы: (i) различение симптомов и корневых причин в распространении ошибок в многоагентных системах и (ii) отслеживание информационных зависимостей за пределами временного порядка. Для решения этих проблем мы представляем GraphTracer — фреймворк, который переосмысливает атрибуцию сбоев через анализ информационных потоков. GraphTracer строит Графы Информационных Зависимостей (IDG), чтобы явно фиксировать, как агенты ссылаются и основываются на предыдущих выводах. Он локализует корневые причины, отслеживая эти структуры зависимостей, вместо того чтобы полагаться на временные последовательности. GraphTracer также использует генерацию синтетических данных с учетом графов для выделения критических узлов, создавая реалистичные сценарии сбоев. Оценки на бенчмарке Who\&When и интеграция в производственные системы демонстрируют, что GraphTracer-8B достигает до 18,18\% более высокой точности атрибуции по сравнению с современными моделями и обеспечивает улучшение производительности на 4,8\% до 14,2\% в развернутых многоагентных фреймворках, устанавливая надежное решение для отладки многоагентных систем.

English

Multi-agent systems powered by Large Language Models excel at complex tasks through coordinated collaboration, yet they face high failure rates in multi-turn deep search scenarios. Existing temporal attribution methods struggle to accurately diagnose root causes, particularly when errors propagate across multiple agents. Attempts to automate failure attribution by analyzing action sequences remain ineffective due to their inability to account for information dependencies that span agents. This paper identifies two core challenges: (i) distinguishing symptoms from root causes in multi-agent error propagation, and (ii) tracing information dependencies beyond temporal order. To address these issues, we introduce GraphTracer, a framework that redefines failure attribution through information flow analysis. GraphTracer constructs Information Dependency Graphs (IDGs) to explicitly capture how agents reference and build on prior outputs. It localizes root causes by tracing through these dependency structures instead of relying on temporal sequences. GraphTracer also uses graph-aware synthetic data generation to target critical nodes, creating realistic failure scenarios. Evaluations on the Who\&When benchmark and integration into production systems demonstrate that GraphTracer-8B achieves up to 18.18\% higher attribution accuracy compared to state-of-the-art models and enables 4.8\% to 14.2\% performance improvements in deployed multi-agent frameworks, establishing a robust solution for multi-agent system debugging.