成功の流れから見るエージェント的失敗の追跡

要旨

LLMベースのエージェントシステムに対する故障帰属、すなわち故障軌跡内のどのステップがタスクの失敗を引き起こしたかを特定することは、これらのシステムのデバッグと改善において極めて重要である。既存の手法は、計算コストが高いプロンプトベースのパイプラインに依存するか、または収集にコストがかかりスケーリングが困難なステップレベルのエラー注釈付き故障軌跡に対する事後学習を必要とする。我々は、実用的な故障帰属モデルは軽量であり、かつ故障データに対するステップレベルの教師信号なしで訓練可能であるべきだと主張する。この目的のために、我々は教師なし故障帰属、すなわち成功軌跡のみで訓練し、推論時に故障軌跡が与えられた際にエラーステップを特定する問題に取り組む。我々はOATを提案する。これはこの問題を、ニューラル制御微分方程式を用いた一クラス学習として捉え、潜在空間における成功軌跡の動的パターンをモデル化する。推論時には、故障軌跡の各ステップに対して、成功軌跡から学習されたダイナミクスからの逸脱に基づいて異常スコアが割り当てられ、これを用いてエラーステップの集合が形成される。わずか100の成功軌跡での訓練により、実験ではOATはプロンプトベースのベースラインよりも200～5000倍高速であり、同時にドメイン内および分布外の両方のデータセットにおいて一貫してそれらを上回り、それぞれ+20%および+7%のF1スコアを達成した。これはOATがエージェントシステムの故障診断に向けた有望かつ効率的な方向性であることを示している。

English

Failure attribution for LLM-based agentic systems, i.e., identifying which steps in a failure trajectory caused the task to fail, is critical for debugging and improving these systems. Existing approaches either rely on prompting-based pipelines, which are computationally expensive, or require post-training on failure trajectories with step-level error annotations, which are costly to collect and difficult to scale. We argue that a practical failure attribution model should be lightweight and trainable without step-level supervision on failure data. To this end, we address unsupervised failure attribution, i.e., training exclusively on successful trajectories and identifying error steps at inference time given a failure trajectory. We propose OAT, which casts this problem as one-class learning with neural controlled differential equations, modeling the dynamical pattern of successful trajectories in latent space. At inference time, each step in a failure trajectory is assigned an anomaly score based on its deviation from the dynamics learned on successful trajectories, which is then used to form a set of error steps. With training on only 100 successful trajectories, experiments show that OAT is 200--5000 times faster than prompting-based baselines, and, at the same time, consistently outperforms them in both in-domain and out-of-distribution datasets with +20% and +7% F1 scores, respectively, demonstrating that OAT is a promising and efficient direction for diagnosing agentic system failures.