AgentCompass: Uma Infraestrutura de Avaliação Unificada para Capacidades de Agentes
AgentCompass: A Unified Evaluation Infrastructure for Agent Capabilities
July 15, 2026
Autores: Zichen Ding, Jiaye Ge, Shufan Jiang, Kai Chen, Mo Li, Qingqiu Li, Zehao Li, Zonglin Li, Tiaohao Liang, Shudong Liu, Zerun Ma, Zixing Shang, Wenhui Tian, Zun Wang, Liwei Wu, Zhenyu Wu, Jun Xu, Bowen Yang, Dingbo Yuan, Qi Zhang, Songyang Zhang, Peiheng Zhou, Dongsheng Zhu
cs.AI
Resumo
À medida que os Modelos de Linguagem de Grande Porte (LLMs) evoluem para agentes autônomos, a necessidade de uma infraestrutura unificada de avaliação torna-se crítica. No entanto, os pipelines atuais de avaliação permanecem altamente fragmentados e fortemente acoplados, dificultando a reprodutibilidade e gerando engenharia redundante. Para enfrentar esse desafio, apresentamos o AgentCompass, uma infraestrutura de código aberto, leve e extensível para avaliar agentes baseados em LLMs. O AgentCompass organiza o processo de avaliação em torno de três componentes independentes, nomeadamente Benchmark, Harness e Environment, permitindo configurações flexíveis sem a necessidade de reimplementar lógicas de execução complexas. Além disso, conta com um tempo de execução assíncrono tolerante a falhas e ferramentas abrangentes de análise de trajetória para diagnosticar de forma transparente modos de falha sutis, como o reward hacking. Com suporte nativo a mais de 20 benchmarks em cinco dimensões de capacidade, o AgentCompass oferece à comunidade uma infraestrutura escalável e reproduzível para impulsionar a pesquisa em agentes.
English
As Large Language Models (LLMs) evolve into autonomous agents, the need for unified evaluation infrastructure becomes critical. However, current evaluation pipelines remain highly fragmented and tightly coupled, hindering reproducibility and causing redundant engineering. To address this, we introduce AgentCompass, an open-source, lightweight, and extensible infrastructure for evaluating LLM-based agents. AgentCompass organizes the evaluation process around three independent components, namely Benchmark, Harness, and Environment, thereby enabling flexible configurations without requiring the reimplementation of complex execution logic. Furthermore, it features a fault-tolerant asynchronous runtime and comprehensive trajectory analysis tools to transparently diagnose nuanced failure modes like reward-hacking. Natively supporting over 20 benchmarks across five capability dimensions, AgentCompass provides the community with a scalable and reproducible infrastructure for advancing agent research.