Spießrutenlauf: Neubewertung der Fähigkeiten von Agenten außerhalb vertrauter Umgebungen

Zusammenfassung

Während agentische Systeme sich weiterentwickeln und zunehmend in realen Szenarien eingesetzt werden, wächst der Bedarf, ihre Fähigkeiten getreu zu evaluieren. Aktuelle Benchmarks basieren jedoch typischerweise auf populären Anwendungen mit relativ einfachen Aufgaben und konzentrieren sich auf einen engen Fähigkeitsbereich, während sie breitere Dimensionen außer Acht lassen. Dies führt zu gesättigter Leistung bei modernen Agenten und versäumt, deren Grenzen auszuloten. Zu diesem Zweck stellen wir GauntletBench vor, einen webbasierten Benchmark zur Evaluierung der Agentengeneralisierung in anspruchsvollen Szenarien. Der Benchmark konzentriert sich auf drei wenig erforschte Fähigkeiten (zeitliche Wahrnehmung, grafisches Verständnis und 3D-Schlussfolgerung) sowie auf fünf weniger abgedeckte professionelle Anwendungen (Video Editor, Workflow Builder, 3D Modeller, Flight Analyser und Circuit Designer), jede mit 20 visuell intensiven Aufgaben (insgesamt 100). Unser Benchmark bietet eine modulare Pipeline, bestehend aus einer Umgebung, die sowohl mit offenen als auch mit geschlossenen Agenten-Frameworks kompatibel ist, einer kontrollierten webbasierten Anwendung, einer gut strukturierten Aufgabensammlung und einer automatisierten Evaluierungs-Engine mit verschiedenen Metriken. Entgegen weit verbreiteter Erwartungen zeigen unsere empirischen Ergebnisse, dass führende agentische Systeme noch weit davon entfernt sind, menschliche Leistungsniveaus zu erreichen. Selbst der modernste Agent erreicht auf unserem GauntletBench nur eine Erfolgsrate von 19,1 %, was die Einschränkungen in diesen vernachlässigten Fähigkeiten und der Generalisierung hervorhebt. Im Vergleich dazu erzielen menschliche Annotatoren ohne Fachkenntnisse auf unseren anspruchsvollen, aber machbaren Aufgaben über 80 % Erfolg, was die erhebliche Kluft zwischen den aktuellen Agentenfähigkeiten und den für komplexe reale Szenarien erforderlichen Fähigkeiten offenlegt.

English

As agentic systems continue to evolve and are widely deployed in real-world scenarios, there is a growing demand to faithfully evaluate their capabilities. However, current benchmarks are typically built on popular applications with relatively simple tasks and focus on a narrow set of capabilities while overlooking broader dimensions, resulting in saturated performance on modern agents and failing to probe their limitations. To this end, we introduce GauntletBench, a web-based benchmark for evaluating agent generalisation in challenging scenarios, focusing on three underexplored capabilities (temporal perception, graphical understanding, and 3D reasoning), across five less-covered professional applications (Video Editor, Workflow Builder, 3D Modeller, Flight Analyser, and Circuit Designer), each with 20 vision-intensive tasks (100 in total). Our benchmark provides a modular pipeline that comprises an environment compatible with both open- and closed-source agent frameworks, a controlled web-based application, a well-structured task suite, and an automated evaluation engine with diverse metrics. Contrary to widespread expectations, our empirical results reveal that frontier agentic systems remain far from achieving human-level performance. Even the state-of-the-art agent achieves only a 19.1% success rate on our GauntletBench, highlighting the limitations in these overlooked capabilities and generalisation. By comparison, non-expert human annotators achieve over 80% success on our challenging yet feasible tasks, revealing the substantial gap between current agent capabilities and those required for complex real-world scenarios.