Superando la prueba de fuego: Re-evaluando las capacidades de los agentes más allá de entornos familiares

Resumen

A medida que los sistemas agentivos continúan evolucionando y se despliegan ampliamente en escenarios del mundo real, existe una demanda creciente de evaluar fielmente sus capacidades. Sin embargo, los puntos de referencia actuales suelen basarse en aplicaciones populares con tareas relativamente simples y se centran en un conjunto limitado de capacidades, pasando por alto dimensiones más amplias, lo que resulta en un rendimiento saturado en los agentes modernos y no logra sondear sus limitaciones. Con este fin, presentamos GauntletBench, un punto de referencia basado en la web para evaluar la generalización de agentes en escenarios desafiantes, centrándose en tres capacidades poco exploradas (percepción temporal, comprensión gráfica y razonamiento 3D) en cinco aplicaciones profesionales menos cubiertas (Editor de video, Constructor de flujos de trabajo, Modelador 3D, Analizador de vuelos y Diseñador de circuitos), cada una con 20 tareas con gran carga visual (100 en total). Nuestro punto de referencia proporciona un pipeline modular que comprende un entorno compatible tanto con marcos de agentes de código abierto como cerrado, una aplicación web controlada, un conjunto de tareas bien estructurado y un motor de evaluación automatizado con métricas diversas. Contrariamente a lo esperado, nuestros resultados empíricos revelan que los sistemas agentivos de vanguardia aún están lejos de alcanzar un rendimiento a nivel humano. Incluso el agente más avanzado logra solo un 19.1% de tasa de éxito en nuestro GauntletBench, lo que destaca las limitaciones en estas capacidades y generalización pasadas por alto. En comparación, los anotadores humanos no expertos alcanzan más del 80% de éxito en nuestras tareas desafiantes pero factibles, revelando la brecha sustancial entre las capacidades actuales de los agentes y las requeridas para escenarios complejos del mundo real.

English

As agentic systems continue to evolve and are widely deployed in real-world scenarios, there is a growing demand to faithfully evaluate their capabilities. However, current benchmarks are typically built on popular applications with relatively simple tasks and focus on a narrow set of capabilities while overlooking broader dimensions, resulting in saturated performance on modern agents and failing to probe their limitations. To this end, we introduce GauntletBench, a web-based benchmark for evaluating agent generalisation in challenging scenarios, focusing on three underexplored capabilities (temporal perception, graphical understanding, and 3D reasoning), across five less-covered professional applications (Video Editor, Workflow Builder, 3D Modeller, Flight Analyser, and Circuit Designer), each with 20 vision-intensive tasks (100 in total). Our benchmark provides a modular pipeline that comprises an environment compatible with both open- and closed-source agent frameworks, a controlled web-based application, a well-structured task suite, and an automated evaluation engine with diverse metrics. Contrary to widespread expectations, our empirical results reveal that frontier agentic systems remain far from achieving human-level performance. Even the state-of-the-art agent achieves only a 19.1% success rate on our GauntletBench, highlighting the limitations in these overlooked capabilities and generalisation. By comparison, non-expert human annotators achieve over 80% success on our challenging yet feasible tasks, revealing the substantial gap between current agent capabilities and those required for complex real-world scenarios.