Allgemeine Bewertung von Agenten
General Agent Evaluation
February 26, 2026
Autoren: Elron Bandel, Asaf Yehudai, Lilach Eden, Yehoshua Sagron, Yotam Perlitz, Elad Venezian, Natalia Razinkov, Natan Ergas, Shlomit Shachor Ifergan, Segev Shlomov, Michal Jacovi, Leshem Choshen, Liat Ein-Dor, Yoav Katz, Michal Shmueli-Scheuer
cs.AI
Zusammenfassung
Die Verheißung universell einsetzbarer Agenten – Systeme, die Aufgaben in unbekannten Umgebungen ohne domainspezifische Anpassungen bewältigen – bleibt größtenteils unerfüllt. Bestehende Agenten sind überwiegend spezialisiert, und obwohl neuere Implementierungen wie der OpenAI SDK Agent und Claude Code auf breitere Fähigkeiten hindeuten, wurde bisher keine systematische Evaluation ihrer allgemeinen Leistungsfähigkeit durchgeführt. Aktuelle Benchmarks für Agenten setzen domainspezifische Integration voraus und kodieren Aufgabeninformationen auf eine Weise, die eine faire Bewertung allgemeiner Agenten ausschließt. Dieser Beitrag etabliert die Evaluation allgemeiner Agenten als primäres Forschungsziel. Wir schlagen konzeptionelle Prinzipien für eine solche Evaluation vor, ein Unified Protocol zur Integration von Agenten in Benchmarks sowie Exgentic – einen praktischen Rahmen zur Evaluation allgemeiner Agenten. Wir evaluieren fünf prominente Agenten-Implementierungen in sechs Umgebungen als erstes Open General Agent Leaderboard. Unsere Experimente zeigen, dass allgemeine Agenten über diverse Umgebungen hinweg generalisieren und eine mit domainspezifischen Agenten vergleichbare Leistung erzielen, ohne jegliche umgebungsspezifische Optimierung. Wir veröffentlichen unser Evaluationsprotokoll, Framework und Leaderboard, um eine Grundlage für systematische Forschung zu universell einsetzbaren Agenten zu schaffen.
English
The promise of general-purpose agents - systems that perform tasks in unfamiliar environments without domain-specific engineering - remains largely unrealized. Existing agents are predominantly specialized, and while emerging implementations like OpenAI SDK Agent and Claude Code hint at broader capabilities, no systematic evaluation of their general performance has been pursued. Current agentic benchmarks assume domain-specific integration, encoding task information in ways that preclude fair evaluation of general agents. This paper frames general-agent evaluation as a first-class research objective. We propose conceptual principles for such evaluation, a Unified Protocol enabling agent-benchmark integration, and Exgentic - a practical framework for general agent evaluation. We benchmark five prominent agent implementations across six environments as the first Open General Agent Leaderboard. Our experiments show that general agents generalize across diverse environments, achieving performance comparable to domain-specific agents without any environment-specific tuning. We release our evaluation protocol, framework, and leaderboard to establish a foundation for systematic research on general-purpose agents.