AgentCompass: Een uniforme evaluatie-infrastructuur voor agentcapaciteiten
AgentCompass: A Unified Evaluation Infrastructure for Agent Capabilities
July 15, 2026
Auteurs: Zichen Ding, Jiaye Ge, Shufan Jiang, Kai Chen, Mo Li, Qingqiu Li, Zehao Li, Zonglin Li, Tiaohao Liang, Shudong Liu, Zerun Ma, Zixing Shang, Wenhui Tian, Zun Wang, Liwei Wu, Zhenyu Wu, Jun Xu, Bowen Yang, Dingbo Yuan, Qi Zhang, Songyang Zhang, Peiheng Zhou, Dongsheng Zhu
cs.AI
Samenvatting
Naarmate Grote Taalmodellen (LLM's) evolueren tot autonome agenten, wordt de behoefte aan een uniforme evaluatie-infrastructuur cruciaal. Huidige evaluatiepijplijnen blijven echter sterk gefragmenteerd en sterk gekoppeld, wat reproduceerbaarheid belemmert en redundante engineering veroorzaakt. Om dit aan te pakken introduceren we AgentCompass, een open-source, lichtgewicht en uitbreidbare infrastructuur voor het evalueren van op LLM's gebaseerde agenten. AgentCompass organiseert het evaluatieproces rond drie onafhankelijke componenten, namelijk Benchmark, Harness en Omgeving, waardoor flexibele configuraties mogelijk zijn zonder dat complexe uitvoeringslogica opnieuw hoeft te worden geïmplementeerd. Bovendien beschikt het over een fouttolerante asynchrone runtime en uitgebreide trajectanalyse-tools om genuanceerde faalwijzen zoals beloningsmanipulatie transparant te diagnosticeren. Met native ondersteuning voor meer dan 20 benchmarks in vijf capaciteitsdimensies biedt AgentCompass de gemeenschap een schaalbare en reproduceerbare infrastructuur voor het bevorderen van agentonderzoek.
English
As Large Language Models (LLMs) evolve into autonomous agents, the need for unified evaluation infrastructure becomes critical. However, current evaluation pipelines remain highly fragmented and tightly coupled, hindering reproducibility and causing redundant engineering. To address this, we introduce AgentCompass, an open-source, lightweight, and extensible infrastructure for evaluating LLM-based agents. AgentCompass organizes the evaluation process around three independent components, namely Benchmark, Harness, and Environment, thereby enabling flexible configurations without requiring the reimplementation of complex execution logic. Furthermore, it features a fault-tolerant asynchronous runtime and comprehensive trajectory analysis tools to transparently diagnose nuanced failure modes like reward-hacking. Natively supporting over 20 benchmarks across five capability dimensions, AgentCompass provides the community with a scalable and reproducible infrastructure for advancing agent research.