Avaliação de Agente Geral
General Agent Evaluation
February 26, 2026
Autores: Elron Bandel, Asaf Yehudai, Lilach Eden, Yehoshua Sagron, Yotam Perlitz, Elad Venezian, Natalia Razinkov, Natan Ergas, Shlomit Shachor Ifergan, Segev Shlomov, Michal Jacovi, Leshem Choshen, Liat Ein-Dor, Yoav Katz, Michal Shmueli-Scheuer
cs.AI
Resumo
A promessa de agentes de propósito geral - sistemas que executam tarefas em ambientes não familiares sem engenharia específica de domínio - permanece em grande parte não realizada. Os agentes existentes são predominantemente especializados, e embora implementações emergentes como o OpenAI SDK Agent e o Claude Code sugiram capacidades mais amplas, nenhuma avaliação sistemática de seu desempenho geral foi realizada. Os benchmarks atuais para agentes pressupõem integração específica de domínio, codificando informações de tarefas de maneiras que impedem uma avaliação justa de agentes gerais. Este artigo enquadra a avaliação de agentes gerais como um objetivo de pesquisa de primeira classe. Propomos princípios conceituais para tal avaliação, um Protocolo Unificado que permite a integração agente-benchmark, e Exgentic - uma estrutura prática para avaliação de agentes gerais. Avaliamos cinco implementações proeminentes de agentes em seis ambientes como o primeiro Leaderboard Aberto de Agentes Gerais. Nossos experimentos mostram que agentes gerais se generalizam em diversos ambientes, alcançando desempenho comparável ao de agentes específicos de domínio sem qualquer ajuste específico do ambiente. Disponibilizamos nosso protocolo de avaliação, estrutura e leaderboard para estabelecer uma base para pesquisa sistemática sobre agentes de propósito geral.
English
The promise of general-purpose agents - systems that perform tasks in unfamiliar environments without domain-specific engineering - remains largely unrealized. Existing agents are predominantly specialized, and while emerging implementations like OpenAI SDK Agent and Claude Code hint at broader capabilities, no systematic evaluation of their general performance has been pursued. Current agentic benchmarks assume domain-specific integration, encoding task information in ways that preclude fair evaluation of general agents. This paper frames general-agent evaluation as a first-class research objective. We propose conceptual principles for such evaluation, a Unified Protocol enabling agent-benchmark integration, and Exgentic - a practical framework for general agent evaluation. We benchmark five prominent agent implementations across six environments as the first Open General Agent Leaderboard. Our experiments show that general agents generalize across diverse environments, achieving performance comparable to domain-specific agents without any environment-specific tuning. We release our evaluation protocol, framework, and leaderboard to establish a foundation for systematic research on general-purpose agents.