Необходимость единой системы оценки агентов на основе больших языковых моделей
The Necessity of a Unified Framework for LLM-Based Agent Evaluation
February 3, 2026
Авторы: Pengyu Zhu, Li Sun, Philip S. Yu, Sen Su
cs.AI
Аннотация
С появлением крупных языковых моделей (LLM) агенты общего назначения получили фундаментальное развитие. Однако оценка таких агентов сопряжена с уникальными трудностями, отличающими их от статических бенчмарков вопросов и ответов. Мы наблюдаем, что современные бенчмарки для агентов сильно искажены побочными факторами, включая системные промпты, конфигурации набора инструментов и динамику окружения. Существующие оценки часто опираются на фрагментированные, специфичные для исследователей фреймворки, где инженерия промптов для рассуждений и использования инструментов значительно варьируется, что затрудняет attribution прироста производительности самой модели. Кроме того, отсутствие стандартизированных данных окружения приводит к неотслеживаемым ошибкам и невоспроизводимым результатам. Эта нехватка стандартизации вносит существенную несправедливость и непрозрачность в данную область. Мы полагаем, что унифицированная система оценки необходима для строгого прогресса в оценке агентов. С этой целью мы представляем предложение, направленное на стандартизацию оценки агентов.
English
With the advent of Large Language Models (LLMs), general-purpose agents have seen fundamental advancements. However, evaluating these agents presents unique challenges that distinguish them from static QA benchmarks. We observe that current agent benchmarks are heavily confounded by extraneous factors, including system prompts, toolset configurations, and environmental dynamics. Existing evaluations often rely on fragmented, researcher-specific frameworks where the prompt engineering for reasoning and tool usage varies significantly, making it difficult to attribute performance gains to the model itself. Additionally, the lack of standardized environmental data leads to untraceable errors and non-reproducible results. This lack of standardization introduces substantial unfairness and opacity into the field. We propose that a unified evaluation framework is essential for the rigorous advancement of agent evaluation. To this end, we introduce a proposal aimed at standardizing agent evaluation.