Оценка общего агента
General Agent Evaluation
February 26, 2026
Авторы: Elron Bandel, Asaf Yehudai, Lilach Eden, Yehoshua Sagron, Yotam Perlitz, Elad Venezian, Natalia Razinkov, Natan Ergas, Shlomit Shachor Ifergan, Segev Shlomov, Michal Jacovi, Leshem Choshen, Liat Ein-Dor, Yoav Katz, Michal Shmueli-Scheuer
cs.AI
Аннотация
Перспектива создания универсальных агентов — систем, способных выполнять задачи в незнакомых средах без предметно-ориентированной настройки — в значительной степени остается нереализованной. Существующие агенты в основном узкоспециализированы, и хотя новые реализации, такие как OpenAI SDK Agent и Claude Code, демонстрируют расширенные возможности, систематическая оценка их общей производительности до сих пор не проводилась. Современные бенчмарки для агентов предполагают предметно-ориентированную интеграцию, кодируя информацию о задачах таким образом, что это исключает справедливую оценку универсальных агентов. В данной статье оценка универсальных агентов формулируется как первоочередная исследовательская цель. Мы предлагаем концептуальные принципы для такой оценки, Единый протокол, обеспечивающий интеграцию агентов с бенчмарками, и Exgentic — практический фреймворк для оценки универсальных агентов. Мы проводим сравнительный анализ пяти известных реализаций агентов в шести средах, создавая первую Открытую таблицу лидеров для универсальных агентов. Наши эксперименты показывают, что универсальные агенты демонстрируют обобщающую способность в различных средах, достигая производительности, сопоставимой со специализированными агентами, без какой-либо специфической настройки под среду. Мы публикуем наш протокол оценки, фреймворк и таблицу лидеров, чтобы заложить основу для систематических исследований универсальных агентов.
English
The promise of general-purpose agents - systems that perform tasks in unfamiliar environments without domain-specific engineering - remains largely unrealized. Existing agents are predominantly specialized, and while emerging implementations like OpenAI SDK Agent and Claude Code hint at broader capabilities, no systematic evaluation of their general performance has been pursued. Current agentic benchmarks assume domain-specific integration, encoding task information in ways that preclude fair evaluation of general agents. This paper frames general-agent evaluation as a first-class research objective. We propose conceptual principles for such evaluation, a Unified Protocol enabling agent-benchmark integration, and Exgentic - a practical framework for general agent evaluation. We benchmark five prominent agent implementations across six environments as the first Open General Agent Leaderboard. Our experiments show that general agents generalize across diverse environments, achieving performance comparable to domain-specific agents without any environment-specific tuning. We release our evaluation protocol, framework, and leaderboard to establish a foundation for systematic research on general-purpose agents.