모델 또는 하네스? 에이전트 실패 국소화를 위한 상호작용 중심 분류 체계

초록

기존 평가는 에이전트의 실패를 종종 시스템 수준의 결과로 축소하여, 결함이 어디서 비롯되었는지와 어떤 개입이 에이전트 시스템을 개선할 수 있는지를 모호하게 만든다. 이는 수리-할당 문제를 야기한다. 동일한 가시적 실패라도 그 원인에 따라 모델 사후 훈련, 하네스 엔지니어링, 환경 재설계, 또는 벤치마크 수리가 요구될 수 있기 때문이다. 에이전트 행동은 모델, 하네스, 사용자, 도구, 메모리, 환경 간의 상호작용에서 발생하므로, 결과 수준의 라벨만으로는 개선에 충분하지 않은 경우가 많다. 대부분의 실패 분류법은 벤치마크에 특화되어 있고 공유 구조가 부재하여 이러한 문제를 해결하는 데 거의 기여하지 못한다. 우리는 실패가 발생한 상호작용으로 해당 실패를 국소화하고 책임 있는 구성 요소를 식별하는 상호작용 중심 분류법을 제안한다. 이 분류법은 41가지 실패 모드를 각각 두 구성 요소 사이의 엣지와 수리가 필요한 측면을 나타내는 결함 측에 할당함으로써 체계화한다. 이를 통해 분류법은 실행 가능해진다. 모델 측 실패는 사후 훈련 대상을 식별하고, 하네스 측 실패는 스캐폴딩 및 도구 통합 수정을 지시하며, 환경 또는 평가자 실패는 재설계가 필요한 평가 조건을 드러낸다. 이 스키마는 코딩 어시스턴트에서 장기 지평 개인 어시스턴트, 다중 에이전트 시스템에 이르기까지 다양한 에이전트 아키텍처에 적용된다. 우리는 공개 벤치마크, 모델 시스템 카드, 발표된 보고서, 기록된 에이전트 궤적에서 얻은 작업 예제로 분류법을 뒷받침하고, 독립적 추론 에이전트를 판정자로 사용하여 재현성을 평가한다. 네 개의 최첨단 모델 중 가장 강력한 판정자는 인간 범주 라벨에 대해 Cohen's κ=0.76을 달성했으며, 이는 범주가 주석자 특정 선호도가 아닌 공유된 구조를 포착함을 시사한다.

English

Existing evaluations often reduce agent failures to system-level outcomes, obscuring where the fault originated and which intervention would improve the agent system. This creates a repair-assignment problem: the same visible failure may call for model post-training, harness engineering, environment redesign, or benchmark repair depending on its source. Because agent behavior emerges from interactions among models, harnesses, users, tools, memory, and environments, outcome-level labels are often insufficient for improvement. Most failure taxonomies do little to resolve this problem because they are benchmark-specific and lack a shared structure. We introduce an interaction-centric taxonomy that localizes failures to the interactions in which they originate and identifies the responsible component. It organizes 41 failure modes by assigning each to an edge between two components and a fault side indicating where the repair belongs. This makes the taxonomy actionable: model-side failures identify targets for post-training, harness-side failures point to scaffolding and tool-integration fixes, and environment or grader failures reveal evaluation conditions requiring redesign. The schema applies across agent architectures, from coding assistants to long-horizon personal assistants and multi-agent systems. We ground the taxonomy in worked examples from public benchmarks, model system cards, published reports, and logged agent trajectories, and evaluate its reproducibility using independent reasoning agents as judges. Across four frontier models, the strongest judge reaches Cohen's κ=0.76 against human category labels, suggesting that the categories capture shared structure rather than annotator-specific preferences.