Обзор методов оценки агентов на основе языковых моделей

Survey on Evaluation of LLM-based Agents

March 20, 2025

Авторы: Asaf Yehudai, Lilach Eden, Alan Li, Guy Uziel, Yilun Zhao, Roy Bar-Haim, Arman Cohan, Michal Shmueli-Scheuer

cs.AI

Аннотация

Появление агентов на основе больших языковых моделей (LLM) представляет собой смену парадигмы в области ИИ, позволяя автономным системам планировать, рассуждать, использовать инструменты и поддерживать память при взаимодействии с динамическими средами. В данной статье представлен первый всесторонний обзор методологий оценки этих всё более способных агентов. Мы систематически анализируем эталонные тесты и фреймворки по четырём ключевым направлениям: (1) базовые способности агентов, включая планирование, использование инструментов, саморефлексию и память; (2) специализированные тесты для веб-агентов, агентов в области разработки программного обеспечения, научных и диалоговых агентов; (3) тесты для универсальных агентов; и (4) фреймворки для оценки агентов. Наш анализ выявляет новые тенденции, включая переход к более реалистичным и сложным оценкам с постоянно обновляемыми тестами. Мы также определяем ключевые пробелы, которые необходимо устранить в будущих исследованиях, особенно в оценке экономической эффективности, безопасности и устойчивости, а также в разработке детализированных и масштабируемых методов оценки. Этот обзор описывает быстро развивающуюся область оценки агентов, выявляет новые тенденции, определяет текущие ограничения и предлагает направления для будущих исследований.

English

The emergence of LLM-based agents represents a paradigm shift in AI, enabling autonomous systems to plan, reason, use tools, and maintain memory while interacting with dynamic environments. This paper provides the first comprehensive survey of evaluation methodologies for these increasingly capable agents. We systematically analyze evaluation benchmarks and frameworks across four critical dimensions: (1) fundamental agent capabilities, including planning, tool use, self-reflection, and memory; (2) application-specific benchmarks for web, software engineering, scientific, and conversational agents; (3) benchmarks for generalist agents; and (4) frameworks for evaluating agents. Our analysis reveals emerging trends, including a shift toward more realistic, challenging evaluations with continuously updated benchmarks. We also identify critical gaps that future research must address-particularly in assessing cost-efficiency, safety, and robustness, and in developing fine-grained, and scalable evaluation methods. This survey maps the rapidly evolving landscape of agent evaluation, reveals the emerging trends in the field, identifies current limitations, and proposes directions for future research.