AgentCompass: Eine einheitliche Evaluierungsinfrastruktur für Agentenfähigkeiten

AgentCompass: A Unified Evaluation Infrastructure for Agent Capabilities

July 15, 2026

Autoren: Zichen Ding, Jiaye Ge, Shufan Jiang, Kai Chen, Mo Li, Qingqiu Li, Zehao Li, Zonglin Li, Tiaohao Liang, Shudong Liu, Zerun Ma, Zixing Shang, Wenhui Tian, Zun Wang, Liwei Wu, Zhenyu Wu, Jun Xu, Bowen Yang, Dingbo Yuan, Qi Zhang, Songyang Zhang, Peiheng Zhou, Dongsheng Zhu

cs.AI

Zusammenfassung

Da sich Große Sprachmodelle (Large Language Models, LLMs) zu autonomen Agenten entwickeln, wird eine einheitliche Evaluierungsinfrastruktur zunehmend kritischer. Allerdings bleiben aktuelle Evaluierungspipelines stark fragmentiert und eng gekoppelt, was die Reproduzierbarkeit behindert und zu redundanter Entwicklungsarbeit führt. Um dies zu adressieren, stellen wir AgentCompass vor, eine Open-Source-, leichtgewichtige und erweiterbare Infrastruktur zur Evaluierung LLM-basierter Agenten. AgentCompass organisiert den Evaluierungsprozess um drei unabhängige Komponenten, nämlich Benchmark, Harness und Environment, und ermöglicht so flexible Konfigurationen, ohne dass eine erneute Implementierung komplexer Ausführungslogik erforderlich ist. Darüber hinaus bietet es eine fehlertolerante asynchrone Laufzeitumgebung sowie umfassende Werkzeuge zur Trajektorienanalyse, um subtile Fehlermodi wie Reward-Hacking transparent zu diagnostizieren. Mit nativer Unterstützung für über 20 Benchmarks in fünf Fähigkeitsdimensionen stellt AgentCompass der Community eine skalierbare und reproduzierbare Infrastruktur zur Förderung der Agentenforschung bereit.

English

As Large Language Models (LLMs) evolve into autonomous agents, the need for unified evaluation infrastructure becomes critical. However, current evaluation pipelines remain highly fragmented and tightly coupled, hindering reproducibility and causing redundant engineering. To address this, we introduce AgentCompass, an open-source, lightweight, and extensible infrastructure for evaluating LLM-based agents. AgentCompass organizes the evaluation process around three independent components, namely Benchmark, Harness, and Environment, thereby enabling flexible configurations without requiring the reimplementation of complex execution logic. Furthermore, it features a fault-tolerant asynchronous runtime and comprehensive trajectory analysis tools to transparently diagnose nuanced failure modes like reward-hacking. Natively supporting over 20 benchmarks across five capability dimensions, AgentCompass provides the community with a scalable and reproducible infrastructure for advancing agent research.