A^2E: エンドツーエンドのエージェント監査エンジン

要旨

大規模言語モデル（LLM）の急速な進歩に伴い、ハーネスは多様な領域にわたってエージェントを展開するための不可欠な基盤となっている。急速に進化するハーネスエコシステムにより、厳密な能力評価の重要性もますます高まっている。しかし、エンドツーエンドで体系的かつ包括的な評価パイプラインを効率的に構築することは、依然として大きな課題である。この課題に取り組むため、我々はエージェントハーネス向けに設計されたエンドツーエンドの評価エンジンであるA^2E（Agent Auditing Engine）を紹介する。A^2Eは、我々が新たに提案するAgent Task Protocol（ATP）を活用し、異なるハーネスとの評価タスクの迅速な統合を可能にする。自動的に計装されたモニターを通じて、実験中に標準化された実行トレースを捕捉・生成する。評価段階では、A^2Eは多次元メトリクス群を用いてハーネスの能力を体系的に評価する。正しさのみと比較すると、これらのメトリクスは、実行効率、ツール使用、タスク計画、エラー回復におけるハーネス間の差異をよりきめ細かく特徴付ける。A^2Eを用いて実施した実験は、さらに、モデルとハーネスの組み合わせがタスクの種類によって性能に大きなばらつきを示すこと、また、あらゆるタスクにおいて他のすべての組み合わせを一貫して上回る単一の組み合わせは存在しないことを明らかにしている。これらの発見は、体系的な評価の必要性を示すだけでなく、モデルとハーネスの共進化に向けた有用な指針を提供する。我々のコードは https://github.com/datamllab/A2E で入手可能である。

English

With the rapid advancement of large language models (LLMs), harnesses have become essential infrastructure for deploying agents across a wide range of domains. The fast-evolving harness ecosystem has also made rigorous capability evaluation increasingly important. However, efficiently building an end-to-end, systematic, and comprehensive evaluation pipeline remains a significant challenge. To address this challenge, we introduce A^2E (Agent Auditing Engine), an end-to-end evaluation engine designed for agent harnesses. A^2E leverages our newly proposed Agent Task Protocol (ATP) to enable the rapid integration of evaluation tasks with different harnesses. Through an automatically instrumented Monitor, it captures and generates standardized execution traces during experiments. In the Evaluation stage, A^2E systematically assesses harness capabilities using a suite of multidimensional metrics. Compared with correctness alone, these metrics provide a more fine-grained characterization of differences among harnesses in execution efficiency, tool use, task planning, and error recovery. Experiments conducted with A^2E further reveal that model-harness combinations exhibit substantial performance variation across different types of tasks, and that no single combination consistently outperforms all others across every task. These findings not only demonstrate the necessity of systematic evaluation but also provide useful guidance for the co-evolving of models and harnesses. Our code is available at https://github.com/datamllab/A2E.