A^2E : 종단 간 에이전트 감사 엔진

초록

대규모 언어 모델(LLM)의 급속한 발전에 힘입어 하네스는 다양한 도메인에 걸쳐 에이전트를 배포하기 위한 필수 인프라가 되었다. 빠르게 진화하는 하네스 생태계는 또한 엄격한 성능 평가의 중요성을 더욱 부각시키고 있다. 그러나 엔드투엔드(end-to-end) 방식의 체계적이고 포괄적인 평가 파이프라인을 효율적으로 구축하는 것은 여전히 중요한 과제로 남아 있다. 이러한 과제를 해결하기 위해 우리는 에이전트 하네스를 위한 엔드투엔드 평가 엔진인 A^2E(Agent Auditing Engine)를 소개한다. A^2E는 새롭게 제안하는 에이전트 작업 프로토콜(Agent Task Protocol, ATP)을 활용하여 서로 다른 하네스와 평가 작업을 신속하게 통합할 수 있게 한다. 자동으로 계측된 모니터를 통해 A^2E는 실험 중 표준화된 실행 추적(execution traces)을 포착하고 생성한다. 평가 단계에서 A^2E는 다차원 메트릭스 세트를 사용하여 하네스의 성능을 체계적으로 평가한다. 이러한 메트릭스는 정확도만을 사용하는 것과 비교하여 하네스 간 실행 효율성, 도구 사용, 작업 계획, 오류 복구 측면의 차이를 더욱 세분화된 방식으로 특성화한다. A^2E를 통해 수행된 실험은 모델-하네스 조합이 작업 유형에 따라 상당한 성능 변동을 보이며, 모든 작업에서 일관되게 우수한 성능을 보이는 단일 조합이 존재하지 않는다는 점을 추가로 밝혀낸다. 이러한 발견은 체계적인 평가의 필요성을 입증할 뿐만 아니라 모델과 하네스의 공동 진화를 위한 유용한 지침을 제공한다. 우리의 코드는 https://github.com/datamllab/A2E에서 확인할 수 있다.

English

With the rapid advancement of large language models (LLMs), harnesses have become essential infrastructure for deploying agents across a wide range of domains. The fast-evolving harness ecosystem has also made rigorous capability evaluation increasingly important. However, efficiently building an end-to-end, systematic, and comprehensive evaluation pipeline remains a significant challenge. To address this challenge, we introduce A^2E (Agent Auditing Engine), an end-to-end evaluation engine designed for agent harnesses. A^2E leverages our newly proposed Agent Task Protocol (ATP) to enable the rapid integration of evaluation tasks with different harnesses. Through an automatically instrumented Monitor, it captures and generates standardized execution traces during experiments. In the Evaluation stage, A^2E systematically assesses harness capabilities using a suite of multidimensional metrics. Compared with correctness alone, these metrics provide a more fine-grained characterization of differences among harnesses in execution efficiency, tool use, task planning, and error recovery. Experiments conducted with A^2E further reveal that model-harness combinations exhibit substantial performance variation across different types of tasks, and that no single combination consistently outperforms all others across every task. These findings not only demonstrate the necessity of systematic evaluation but also provide useful guidance for the co-evolving of models and harnesses. Our code is available at https://github.com/datamllab/A2E.