AgentDebugX: LLMエージェントにおける障害の可観測性、原因特定、および復旧のためのオープンソースツールキット

要旨

LLMエージェントの障害は、エラーが表面化するステップが原因となるステップと一致しないことが多いため、デバッグが困難である。既存の可観測性ツールは実行トレースを再生するものの、根本原因の特定や診断から復旧への変換を支援する機能はほとんど提供していない。本稿では、デバッグを「検出（Detect）」「特定（Attribute）」「復旧（Recover）」「再実行（Rerun）」の閉ループとして整理するオープンソースのデバッグフレームワークAgentDebugXを提案する。その中核をなすDeepDebugは、グローバルな軌跡理解、構造誘導による調査、および相互検証を通じて、多ターンの根本原因診断を実行する。Who and Whenベンチマークでは、DeepDebugは評価対象のすべての手法の中で、テストした両方のオープンウェイトバックボーンにおいて最高の厳密な帰属精度を達成し、qwen3.5-9bではエージェントとステップの完全一致精度が28.8%となり、最も強力なシングルパスベースラインの21.7%を上回った。GAIAでは、DeepDebugは73件の失敗タスクのうち13件を1回の再実行で修復し、3つの分離型自己修正ベースラインの4～6件と比較して、全体の精度を55.8%から63.6%に向上させた。AgentDebugXは、このワークフローをPythonライブラリ、CLI、Webコンソール、およびインストール可能なエージェントスキルとして公開し、オプトイン型のError Hubを提供することで、スクラブ（機密情報除去）済みの障害・診断・修復バンドルの共有と、デバッグメモリとしての再利用を可能にする。

English

LLM agent failures are difficult to debug because the step where an error surfaces is often not the one that caused it. Existing observability tools replay execution traces but provide little support for identifying the root cause or translating diagnosis into recovery. We present AgentDebugX, an open-source debugging framework that organizes debugging as a closed loop of Detect, Attribute, Recover, and Rerun. At its core, DeepDebug performs multi-turn root-cause diagnosis through global trajectory understanding, structure-guided investigation, and cross-examination. On the Who and When benchmark, DeepDebug achieves the best strict attribution accuracy among the evaluated methods on both tested open-weight backbones, reaching 28.8 percent exact agent-and-step accuracy on qwen3.5-9b versus 21.7 percent for the strongest single-pass baseline. On GAIA, DeepDebug repairs 13 of 73 failed tasks in a single rerun, compared with 4 to 6 for three decoupled self-correction baselines, improving overall accuracy from 55.8 percent to 63.6 percent. AgentDebugX exposes this workflow through a Python library, CLI, web console, and installable agentic skill, and provides an opt-in Error Hub for sharing scrubbed failure-diagnosis-repair bundles and reusing them as debugging memory.