Evaluación de Agentes Generales
General Agent Evaluation
February 26, 2026
Autores: Elron Bandel, Asaf Yehudai, Lilach Eden, Yehoshua Sagron, Yotam Perlitz, Elad Venezian, Natalia Razinkov, Natan Ergas, Shlomit Shachor Ifergan, Segev Shlomov, Michal Jacovi, Leshem Choshen, Liat Ein-Dor, Yoav Katz, Michal Shmueli-Scheuer
cs.AI
Resumen
La promesa de agentes de propósito general - sistemas que realizan tareas en entornos no familiares sin ingeniería específica de dominio - permanece en gran medida sin materializarse. Los agentes existentes son predominantemente especializados, y aunque implementaciones emergentes como OpenAI SDK Agent y Claude Code sugieren capacidades más amplias, no se ha realizado ninguna evaluación sistemática de su rendimiento general. Los benchmarks de agentes actuales asumen integración específica de dominio, codificando información de tareas de maneras que impiden una evaluación justa de agentes generales. Este artículo enmarca la evaluación de agentes generales como un objetivo de investigación de primer nivel. Proponemos principios conceptuales para dicha evaluación, un Protocolo Unificado que permite la integración agente-benchmark, y Exgentic, un marco práctico para la evaluación de agentes generales. Evaluamos cinco implementaciones destacadas de agentes en seis entornos como el primer Ranking Abierto de Agentes Generales. Nuestros experimentos muestran que los agentes generales se adaptan a diversos entornos, logrando un rendimiento comparable al de agentes específicos de dominio sin ninguna adaptación específica del entorno. Publicamos nuestro protocolo de evaluación, marco metodológico y ranking para establecer una base para la investigación sistemática sobre agentes de propósito general.
English
The promise of general-purpose agents - systems that perform tasks in unfamiliar environments without domain-specific engineering - remains largely unrealized. Existing agents are predominantly specialized, and while emerging implementations like OpenAI SDK Agent and Claude Code hint at broader capabilities, no systematic evaluation of their general performance has been pursued. Current agentic benchmarks assume domain-specific integration, encoding task information in ways that preclude fair evaluation of general agents. This paper frames general-agent evaluation as a first-class research objective. We propose conceptual principles for such evaluation, a Unified Protocol enabling agent-benchmark integration, and Exgentic - a practical framework for general agent evaluation. We benchmark five prominent agent implementations across six environments as the first Open General Agent Leaderboard. Our experiments show that general agents generalize across diverse environments, achieving performance comparable to domain-specific agents without any environment-specific tuning. We release our evaluation protocol, framework, and leaderboard to establish a foundation for systematic research on general-purpose agents.