성공의 흐름에서 행위주체적 실패를 추적하기

초록

LLM 기반 에이전트 시스템의 실패 귀인(Failure attribution), 즉 실패 궤적에서 어떤 단계가 작업 실패를 유발했는지 식별하는 것은 이러한 시스템의 디버깅 및 개선에 중요하다. 기존 접근 방식은 프롬프트 기반 파이프라인에 의존하거나(계산 비용이 높음), 단계별 오류 주석이 포함된 실패 궤적에 대한 사후 훈련을 요구하는데(수집 비용이 많이 들고 확장이 어려움), 실용적인 실패 귀인 모델은 경량화되어야 하며 실패 데이터에 대한 단계별 감독 없이 훈련 가능해야 한다고 주장한다. 이를 위해 우리는 비지도 실패 귀인, 즉 성공 궤적으로만 훈련하고 추론 시 실패 궤적이 주어졌을 때 오류 단계를 식별하는 문제를 다룬다. 본 연구에서는 신경 제어 미분 방정식(neural controlled differential equations)을 활용한 일변량 학습(one-class learning)으로 이 문제를 정식화하여, 잠재 공간에서 성공 궤적의 동적 패턴을 모델링하는 OAT를 제안한다. 추론 시 실패 궤적의 각 단계는 성공 궤적에서 학습된 동역학으로부터의 편차를 기반으로 이상 점수(anomaly score)가 할당되며, 이를 통해 오류 단계 집합을 형성한다. 100개의 성공 궤적으로만 훈련한 실험에서 OAT는 프롬프트 기반 베이스라인보다 200~5000배 빠르며, 동시에 인-도메인 데이터셋에서 +20%, 분포 외 데이터셋에서 +7%의 F1 점수로 일관되게 더 우수한 성능을 보여, 에이전트 시스템 오류 진단을 위한 유망하고 효율적인 방향임을 입증한다.

English

Failure attribution for LLM-based agentic systems, i.e., identifying which steps in a failure trajectory caused the task to fail, is critical for debugging and improving these systems. Existing approaches either rely on prompting-based pipelines, which are computationally expensive, or require post-training on failure trajectories with step-level error annotations, which are costly to collect and difficult to scale. We argue that a practical failure attribution model should be lightweight and trainable without step-level supervision on failure data. To this end, we address unsupervised failure attribution, i.e., training exclusively on successful trajectories and identifying error steps at inference time given a failure trajectory. We propose OAT, which casts this problem as one-class learning with neural controlled differential equations, modeling the dynamical pattern of successful trajectories in latent space. At inference time, each step in a failure trajectory is assigned an anomaly score based on its deviation from the dynamics learned on successful trajectories, which is then used to form a set of error steps. With training on only 100 successful trajectories, experiments show that OAT is 200--5000 times faster than prompting-based baselines, and, at the same time, consistently outperforms them in both in-domain and out-of-distribution datasets with +20% and +7% F1 scores, respectively, demonstrating that OAT is a promising and efficient direction for diagnosing agentic system failures.