Évaluation des Agents Généraux
General Agent Evaluation
February 26, 2026
Auteurs: Elron Bandel, Asaf Yehudai, Lilach Eden, Yehoshua Sagron, Yotam Perlitz, Elad Venezian, Natalia Razinkov, Natan Ergas, Shlomit Shachor Ifergan, Segev Shlomov, Michal Jacovi, Leshem Choshen, Liat Ein-Dor, Yoav Katz, Michal Shmueli-Scheuer
cs.AI
Résumé
La promesse d'agents généralistes - des systèmes capables d'exécuter des tâches dans des environnements non familiers sans ingénierie spécifique à un domaine - reste largement non tenue. Les agents existants sont principalement spécialisés, et bien que des implémentations émergentes comme OpenAI SDK Agent et Claude Code laissent entrevoir des capacités plus étendues, aucune évaluation systématique de leurs performances générales n'a été entreprise. Les benchmarks actuels pour agents supposent une intégration domaine-spécifique, encodant l'information des tâches d'une manière qui empêche une évaluation équitable des agents généralistes. Cet article positionne l'évaluation des agents généralistes comme un objectif de recherche de premier ordre. Nous proposons des principes conceptuels pour une telle évaluation, un Protocole Unifié permettant l'intégration agent-benchmark, et Exgentic - un cadre pratique pour l'évaluation d'agents généralistes. Nous évaluons cinq implémentations d'agents prominentes à travers six environnements pour constituer le premier Tableau de Classement Open d'Agents Généralistes. Nos expériences montrent que les agents généralistes se généralisent à travers divers environnements, atteignant des performances comparables aux agents spécialisés sans aucun réglage spécifique à l'environnement. Nous publions notre protocole d'évaluation, cadre méthodologique et tableau de classement pour établir une base de recherche systématique sur les agents généralistes.
English
The promise of general-purpose agents - systems that perform tasks in unfamiliar environments without domain-specific engineering - remains largely unrealized. Existing agents are predominantly specialized, and while emerging implementations like OpenAI SDK Agent and Claude Code hint at broader capabilities, no systematic evaluation of their general performance has been pursued. Current agentic benchmarks assume domain-specific integration, encoding task information in ways that preclude fair evaluation of general agents. This paper frames general-agent evaluation as a first-class research objective. We propose conceptual principles for such evaluation, a Unified Protocol enabling agent-benchmark integration, and Exgentic - a practical framework for general agent evaluation. We benchmark five prominent agent implementations across six environments as the first Open General Agent Leaderboard. Our experiments show that general agents generalize across diverse environments, achieving performance comparable to domain-specific agents without any environment-specific tuning. We release our evaluation protocol, framework, and leaderboard to establish a foundation for systematic research on general-purpose agents.