モデルか、ハーネスか？エージェントの失敗を特定するためのインタラクション中心の分類法

要旨

既存の評価手法は、エージェントの失敗をシステムレベルの結果に還元することが多く、障害がどこに起因するのか、どの介入がエージェントシステムを改善するのかを不明瞭にしている。これにより修復割り当て問題が生じる。すなわち、同じ目に見える失敗であっても、その発生源によって、モデルのポストトレーニング、ハーネスエンジニアリング、環境再設計、ベンチマーク修正のいずれかが必要となる可能性がある。エージェントの振る舞いは、モデル、ハーネス、ユーザー、ツール、メモリ、環境間の相互作用から創発するため、結果レベルのラベルは改善には不十分なことが多い。既存の失敗分類法のほとんどは、ベンチマーク固有であり共通の構造を欠いているため、この問題の解決にほとんど寄与していない。本稿では、失敗をその発生源となる相互作用に特定し、責任のある構成要素を識別する、相互作用中心の分類法を提案する。この分類法は41の失敗モードを整理し、各モードを2つの構成要素間のエッジと、修復が属する側を示す障害側に割り当てる。これにより、この分類法は実践的となる。すなわち、モデル側の失敗はポストトレーニングの対象を特定し、ハーネス側の失敗はスキャフォールディングとツール統合の修正を指し示し、環境または評価者側の失敗は再設計を要する評価条件を明らかにする。このスキーマは、コーディングアシスタントから長期的なパーソナルアシスタント、マルチエージェントシステムに至るまで、さまざまなエージェントアーキテクチャに適用可能である。我々はこの分類法を、公開ベンチマーク、モデルのシステムカード、公開レポート、記録されたエージェントの軌跡からの具体例に基づいて基礎づけ、独立した推論エージェントを判定者として用いてその再現性を評価する。4つのフロンティアモデルの中で、最も強力な判定者は人間のカテゴリラベルに対してコーエンのκ=0.76を達成し、このカテゴリが注釈者固有の嗜好ではなく共有構造を捉えていることを示唆している。

English

Existing evaluations often reduce agent failures to system-level outcomes, obscuring where the fault originated and which intervention would improve the agent system. This creates a repair-assignment problem: the same visible failure may call for model post-training, harness engineering, environment redesign, or benchmark repair depending on its source. Because agent behavior emerges from interactions among models, harnesses, users, tools, memory, and environments, outcome-level labels are often insufficient for improvement. Most failure taxonomies do little to resolve this problem because they are benchmark-specific and lack a shared structure. We introduce an interaction-centric taxonomy that localizes failures to the interactions in which they originate and identifies the responsible component. It organizes 41 failure modes by assigning each to an edge between two components and a fault side indicating where the repair belongs. This makes the taxonomy actionable: model-side failures identify targets for post-training, harness-side failures point to scaffolding and tool-integration fixes, and environment or grader failures reveal evaluation conditions requiring redesign. The schema applies across agent architectures, from coding assistants to long-horizon personal assistants and multi-agent systems. We ground the taxonomy in worked examples from public benchmarks, model system cards, published reports, and logged agent trajectories, and evaluate its reproducibility using independent reasoning agents as judges. Across four frontier models, the strongest judge reaches Cohen's κ=0.76 against human category labels, suggesting that the categories capture shared structure rather than annotator-specific preferences.