Open CaptchaWorld: Una Plataforma Web Integral para Pruebas y Evaluación de Agentes Multimodales de Modelos de Lenguaje Grande
Open CaptchaWorld: A Comprehensive Web-based Platform for Testing and Benchmarking Multimodal LLM Agents
May 30, 2025
Autores: Yaxin Luo, Zhaoyi Li, Jiacheng Liu, Jiacheng Cui, Xiaohan Zhao, Zhiqiang Shen
cs.AI
Resumen
Los CAPTCHAs han sido un cuello de botella crítico para implementar agentes web en aplicaciones del mundo real, a menudo impidiéndoles completar tareas de automatización de extremo a extremo. Si bien los agentes modernos de modelos de lenguaje multimodal (MLLM) han demostrado un rendimiento impresionante en tareas de percepción estática, su capacidad para manejar desafíos interactivos de razonamiento de múltiples pasos, como los CAPTCHAs, está en gran medida sin probar. Para abordar esta brecha, presentamos Open CaptchaWorld, el primer benchmark y plataforma basados en la web diseñados específicamente para evaluar las capacidades de razonamiento visual e interacción de agentes impulsados por MLLM a través de diversos y dinámicos rompecabezas CAPTCHA. Nuestro benchmark abarca 20 tipos modernos de CAPTCHA, totalizando 225 CAPTCHAs, anotados con una nueva métrica que proponemos: Profundidad de Razonamiento CAPTCHA, que cuantifica el número de pasos cognitivos y motores necesarios para resolver cada rompecabezas. Los resultados experimentales muestran que los humanos logran consistentemente puntuaciones casi perfectas, mientras que los agentes MLLM de vanguardia tienen dificultades significativas, con tasas de éxito de como máximo 40.0% por Browser-Use Openai-o3, muy por debajo del rendimiento humano, 93.3%. Esto destaca a Open CaptchaWorld como un benchmark vital para diagnosticar los límites de los agentes multimodales actuales y guiar el desarrollo de sistemas de razonamiento multimodal más robustos. El código y los datos están disponibles en este enlace https.
English
CAPTCHAs have been a critical bottleneck for deploying web agents in
real-world applications, often blocking them from completing end-to-end
automation tasks. While modern multimodal LLM agents have demonstrated
impressive performance in static perception tasks, their ability to handle
interactive, multi-step reasoning challenges like CAPTCHAs is largely untested.
To address this gap, we introduce Open CaptchaWorld, the first web-based
benchmark and platform specifically designed to evaluate the visual reasoning
and interaction capabilities of MLLM-powered agents through diverse and dynamic
CAPTCHA puzzles. Our benchmark spans 20 modern CAPTCHA types, totaling 225
CAPTCHAs, annotated with a new metric we propose: CAPTCHA Reasoning Depth,
which quantifies the number of cognitive and motor steps required to solve each
puzzle. Experimental results show that humans consistently achieve near-perfect
scores, state-of-the-art MLLM agents struggle significantly, with success rates
at most 40.0% by Browser-Use Openai-o3, far below human-level performance,
93.3%. This highlights Open CaptchaWorld as a vital benchmark for diagnosing
the limits of current multimodal agents and guiding the development of more
robust multimodal reasoning systems. Code and Data are available at this https
URL.