Agentic CLEAR: Автоматизация многоуровневой оценки агентов LLM

Аннотация

Агентные системы становятся все более способными: агенты определяют стратегии, выполняют действия и взаимодействуют с различными средами. Такая автономность создает серьезные проблемы для контроля и оценки поведения агентов. Большинство существующих инструментов ограничены: они либо сосредоточены на наблюдаемости с базовыми возможностями оценки, либо навязывают статические, вручную составленные таксономии ошибок, не адаптируемые к новым областям. Для устранения этого пробела мы представляем Agentic CLEAR — автоматическую, динамическую и простую в использовании систему оценки. Она генерирует текстовые инсайты о поведении агента на трех уровнях детализации: система, трасса и узел. Agentic CLEAR работает поверх уровня наблюдаемости, обеспечивая бесшовную интеграцию, и обладает интуитивно понятным пользовательским интерфейсом, делающим оценку агентов высокодоступной. В наших экспериментах на четырех бенчмарках, семи агентных конфигурациях и десятках тысяч вызовов LLM мы показываем, что Agentic CLEAR предоставляет качественную, основанную на данных и содержательную обратную связь. Наш анализ демонстрирует сильное соответствие с размеченными человеком ошибками и способность прогнозировать показатель успешности выполнения задач.

English

Agentic systems are becoming more capable: agents define strategies, take actions, and interact with different environments. This autonomy poses serious challenges for overseeing and assessing agent behavior. Most current tools are limited, focusing on observability with basic evaluation capabilities or imposing static, hand-crafted error taxonomies that cannot adapt to new domains. To address this gap, we present Agentic CLEAR, an automatic, dynamic, and easy-to-use evaluation framework. It produces textual insights into the agent behavior on three levels of granularity: system, trace, and node. Agentic CLEAR operates above the observability layer, enabling seamless integration and featuring an intuitive UI that makes agent evaluation highly accessible. In our experiments on four benchmarks, seven agentic settings, and tens of thousands of LLM calls, we show that Agentic CLEAR produces high-quality, data-driven, insightful feedback. Our analysis shows strong alignment with human-annotated errors and the ability to predict task success rate.