AgentCompass: Единая инфраструктура оценки способностей агентов

Аннотация

По мере того как большие языковые модели (LLM) эволюционируют в автономных агентов, потребность в унифицированной инфраструктуре оценивания становится критической. Однако современные конвейеры оценивания остаются сильно фрагментированными и тесно связанными, что препятствует воспроизводимости и приводит к избыточным инженерным затратам. Для решения этой проблемы мы представляем AgentCompass — инфраструктуру с открытым исходным кодом, легковесную и расширяемую, предназначенную для оценивания агентов на основе LLM. AgentCompass организует процесс оценивания вокруг трёх независимых компонентов, а именно Benchmark, Harness и Environment, что позволяет гибко настраивать конфигурации без необходимости перереализации сложной логики выполнения. Кроме того, он включает отказоустойчивую асинхронную среду выполнения и комплексные инструменты анализа траекторий для прозрачной диагностики тонких режимов сбоев, таких как эксплуатация функции вознаграждения. Встроенная поддержка более 20 бенчмарков по пяти размерностям способностей позволяет AgentCompass предоставить сообществу масштабируемую и воспроизводимую инфраструктуру для продвижения исследований агентов.

English

As Large Language Models (LLMs) evolve into autonomous agents, the need for unified evaluation infrastructure becomes critical. However, current evaluation pipelines remain highly fragmented and tightly coupled, hindering reproducibility and causing redundant engineering. To address this, we introduce AgentCompass, an open-source, lightweight, and extensible infrastructure for evaluating LLM-based agents. AgentCompass organizes the evaluation process around three independent components, namely Benchmark, Harness, and Environment, thereby enabling flexible configurations without requiring the reimplementation of complex execution logic. Furthermore, it features a fault-tolerant asynchronous runtime and comprehensive trajectory analysis tools to transparently diagnose nuanced failure modes like reward-hacking. Natively supporting over 20 benchmarks across five capability dimensions, AgentCompass provides the community with a scalable and reproducible infrastructure for advancing agent research.