AgentDebugX: LLM 에이전트에서의 실패 관측, 원인 추적 및 복구를 위한 오픈소스 툴킷

초록

LLM 에이전트 실패는 오류가 표면화되는 단계가 원인을 유발한 단계가 아닌 경우가 많아 디버깅이 어렵다. 기존의 가시성 도구는 실행 추적을 재생하지만, 근본 원인을 식별하거나 진단을 복구로 전환하는 데 거의 지원을 제공하지 않는다. 본 논문에서는 디버깅을 탐지, 귀인, 복구, 재실행의 폐루프로 구성하는 오픈소스 디버깅 프레임워크인 AgentDebugX를 제시한다. 핵심 구성 요소인 DeepDebug는 전역 궤적 이해, 구조 기반 조사, 교차 검증을 통해 다중 턴 근본 원인 진단을 수행한다. Who and When 벤치마크에서 DeepDebug는 평가된 두 오픈 가중치 백본 모두에서 가장 높은 엄격 귀인 정확도를 달성하여, qwen3.5-9b에서 28.8%의 정확한 에이전트-단계 정확도를 기록한 반면, 가장 강력한 단일 패스 기준선은 21.7%를 기록했다. GAIA에서는 DeepDebug가 단일 재실행에서 73개의 실패한 작업 중 13개를 수리한 반면, 세 가지 분리된 자기 수정 기준선은 4~6개를 수리하여 전체 정확도를 55.8%에서 63.6%로 향상시켰다. AgentDebugX는 이 워크플로를 Python 라이브러리, CLI, 웹 콘솔, 설치 가능한 에이전트 스킬을 통해 제공하며, 옵트인 방식의 Error Hub를 통해 정제된 실패-진단-수리 번들을 공유하고 디버깅 메모리로 재사용할 수 있도록 지원한다.

English

LLM agent failures are difficult to debug because the step where an error surfaces is often not the one that caused it. Existing observability tools replay execution traces but provide little support for identifying the root cause or translating diagnosis into recovery. We present AgentDebugX, an open-source debugging framework that organizes debugging as a closed loop of Detect, Attribute, Recover, and Rerun. At its core, DeepDebug performs multi-turn root-cause diagnosis through global trajectory understanding, structure-guided investigation, and cross-examination. On the Who and When benchmark, DeepDebug achieves the best strict attribution accuracy among the evaluated methods on both tested open-weight backbones, reaching 28.8 percent exact agent-and-step accuracy on qwen3.5-9b versus 21.7 percent for the strongest single-pass baseline. On GAIA, DeepDebug repairs 13 of 73 failed tasks in a single rerun, compared with 4 to 6 for three decoupled self-correction baselines, improving overall accuracy from 55.8 percent to 63.6 percent. AgentDebugX exposes this workflow through a Python library, CLI, web console, and installable agentic skill, and provides an opt-in Error Hub for sharing scrubbed failure-diagnosis-repair bundles and reusing them as debugging memory.