Valutazione degli Agenti Generali
General Agent Evaluation
February 26, 2026
Autori: Elron Bandel, Asaf Yehudai, Lilach Eden, Yehoshua Sagron, Yotam Perlitz, Elad Venezian, Natalia Razinkov, Natan Ergas, Shlomit Shachor Ifergan, Segev Shlomov, Michal Jacovi, Leshem Choshen, Liat Ein-Dor, Yoav Katz, Michal Shmueli-Scheuer
cs.AI
Abstract
La promessa di agenti a scopo generale - sistemi che eseguono compiti in ambienti non familiari senza progettazione specifica per il dominio - rimane in larga misura irrealizzata. Gli agenti esistenti sono prevalentemente specializzati e, sebbene implementazioni emergenti come OpenAI SDK Agent e Claude Code accennino a capacità più ampie, non è stata ancora condotta una valutazione sistematica delle loro prestazioni generali. I benchmark attuali per agenti presuppongono un'integrazione specifica per dominio, codificando le informazioni sui compiti in modi che precludono una valutazione equa degli agenti generali. Questo articolo inquadra la valutazione degli agenti generali come un obiettivo di ricerca di prim'ordine. Proponiamo principi concettuali per tale valutazione, un Protocollo Unificato che consente l'integrazione agente-benchmark, ed Exgentic, un framework pratico per la valutazione di agenti generali. Testiamo cinque implementazioni di agenti di rilievo in sei ambienti diversi, creando la prima Classifica Aperta degli Agenti Generali. I nostri esperimenti dimostrano che gli agenti generali sanno generalizzare attraverso ambienti diversi, raggiungendo prestazioni paragonabili a quelle di agenti specifici per dominio senza alcuna ottimizzazione specifica per l'ambiente. Rilasciamo il nostro protocollo di valutazione, il framework e la classifica per gettare le basi di una ricerca sistematica sugli agenti a scopo generale.
English
The promise of general-purpose agents - systems that perform tasks in unfamiliar environments without domain-specific engineering - remains largely unrealized. Existing agents are predominantly specialized, and while emerging implementations like OpenAI SDK Agent and Claude Code hint at broader capabilities, no systematic evaluation of their general performance has been pursued. Current agentic benchmarks assume domain-specific integration, encoding task information in ways that preclude fair evaluation of general agents. This paper frames general-agent evaluation as a first-class research objective. We propose conceptual principles for such evaluation, a Unified Protocol enabling agent-benchmark integration, and Exgentic - a practical framework for general agent evaluation. We benchmark five prominent agent implementations across six environments as the first Open General Agent Leaderboard. Our experiments show that general agents generalize across diverse environments, achieving performance comparable to domain-specific agents without any environment-specific tuning. We release our evaluation protocol, framework, and leaderboard to establish a foundation for systematic research on general-purpose agents.