Algemene Evaluatie van Agenten
General Agent Evaluation
February 26, 2026
Auteurs: Elron Bandel, Asaf Yehudai, Lilach Eden, Yehoshua Sagron, Yotam Perlitz, Elad Venezian, Natalia Razinkov, Natan Ergas, Shlomit Shachor Ifergan, Segev Shlomov, Michal Jacovi, Leshem Choshen, Liat Ein-Dor, Yoav Katz, Michal Shmueli-Scheuer
cs.AI
Samenvatting
De belofte van algemene agentsystemen - systemen die taken uitvoeren in onbekende omgevingen zonder domeinspecifieke aanpassingen - blijft grotendeels oningelost. Bestaande agents zijn overwegend gespecialiseerd, en hoewel opkomende implementaties zoals de OpenAI SDK Agent en Claude Code wijzen op bredere capaciteiten, is er nog geen systematische evaluatie van hun algemene prestaties uitgevoerd. Huidige benchmarks voor agents veronderstellen domeinspecifieke integratie en coderen taakinformatie op manieren die een eerlijke evaluatie van algemene agents uitsluiten. Dit artikel positioneert de evaluatie van algemene agents als een primair onderzoeksdoel. Wij stellen conceptuele principes voor voor een dergelijke evaluatie, een Unified Protocol dat integratie van agent en benchmark mogelijk maakt, en Exgentic - een praktisch raamwerk voor de evaluatie van algemene agents. We evalueren vijf prominente agentimplementaties in zes omgevingen als eerste Open General Agent Leaderboard. Onze experimenten tonen aan dat algemene agents zich generaliseren over diverse omgevingen, met prestaties vergelijkbaar met domeinspecifieke agents zonder omgevingsspecifieke afstemming. We publiceren ons evaluatieprotocol, raamwerk en leaderboard om een basis te leggen voor systematisch onderzoek naar algemene agentsystemen.
English
The promise of general-purpose agents - systems that perform tasks in unfamiliar environments without domain-specific engineering - remains largely unrealized. Existing agents are predominantly specialized, and while emerging implementations like OpenAI SDK Agent and Claude Code hint at broader capabilities, no systematic evaluation of their general performance has been pursued. Current agentic benchmarks assume domain-specific integration, encoding task information in ways that preclude fair evaluation of general agents. This paper frames general-agent evaluation as a first-class research objective. We propose conceptual principles for such evaluation, a Unified Protocol enabling agent-benchmark integration, and Exgentic - a practical framework for general agent evaluation. We benchmark five prominent agent implementations across six environments as the first Open General Agent Leaderboard. Our experiments show that general agents generalize across diverse environments, achieving performance comparable to domain-specific agents without any environment-specific tuning. We release our evaluation protocol, framework, and leaderboard to establish a foundation for systematic research on general-purpose agents.