Spitsroeden lopen: Herbeoordeling van de capaciteiten van agenten buiten vertrouwde omgevingen

Samenvatting

Terwijl agentische systemen blijven evolueren en op grote schaal worden ingezet in real-world scenario's, groeit de behoefte om hun capaciteiten nauwkeurig te evalueren. Huidige benchmarks zijn echter doorgaans gebaseerd op populaire toepassingen met relatief eenvoudige taken en richten zich op een beperkt aantal vaardigheden, terwijl bredere dimensies over het hoofd worden gezien. Dit leidt tot verzadigde prestaties op moderne agenten en slaagt er niet in hun beperkingen bloot te leggen. Daartoe introduceren wij GauntletBench, een webgebaseerde benchmark voor het evalueren van generalisatie van agenten in uitdagende scenario's, met de nadruk op drie onderbelichte vaardigheden (temporele perceptie, grafisch begrip en 3D-redenering), verspreid over vijf minder behandelde professionele toepassingen (Video Editor, Workflow Builder, 3D Modeller, Flight Analyser en Circuit Designer), elk met 20 visueel intensieve taken (in totaal 100). Onze benchmark biedt een modulaire pijplijn die bestaat uit een omgeving die compatibel is met zowel open- als closed-source agentframeworks, een gecontroleerde webgebaseerde toepassing, een goed gestructureerde taakset en een geautomatiseerde evaluatie-engine met diverse metrieken. In tegenstelling tot wijdverbreide verwachtingen tonen onze empirische resultaten aan dat geavanceerde agentische systemen nog ver verwijderd zijn van het bereiken van prestaties op menselijk niveau. Zelfs de state-of-the-art agent behaalt slechts een slagingspercentage van 19,1% op onze GauntletBench, wat de beperkingen in deze over het hoofd geziene vaardigheden en generalisatie benadrukt. Ter vergelijking: niet-expert menselijke annotatoren behalen meer dan 80% succes op onze uitdagende maar haalbare taken, wat de aanzienlijke kloof blootlegt tussen de huidige agentcapaciteiten en de vereisten voor complexe real-world scenario's.

English

As agentic systems continue to evolve and are widely deployed in real-world scenarios, there is a growing demand to faithfully evaluate their capabilities. However, current benchmarks are typically built on popular applications with relatively simple tasks and focus on a narrow set of capabilities while overlooking broader dimensions, resulting in saturated performance on modern agents and failing to probe their limitations. To this end, we introduce GauntletBench, a web-based benchmark for evaluating agent generalisation in challenging scenarios, focusing on three underexplored capabilities (temporal perception, graphical understanding, and 3D reasoning), across five less-covered professional applications (Video Editor, Workflow Builder, 3D Modeller, Flight Analyser, and Circuit Designer), each with 20 vision-intensive tasks (100 in total). Our benchmark provides a modular pipeline that comprises an environment compatible with both open- and closed-source agent frameworks, a controlled web-based application, a well-structured task suite, and an automated evaluation engine with diverse metrics. Contrary to widespread expectations, our empirical results reveal that frontier agentic systems remain far from achieving human-level performance. Even the state-of-the-art agent achieves only a 19.1% success rate on our GauntletBench, highlighting the limitations in these overlooked capabilities and generalisation. By comparison, non-expert human annotators achieve over 80% success on our challenging yet feasible tasks, revealing the substantial gap between current agent capabilities and those required for complex real-world scenarios.