Open CaptchaWorld: Una Plataforma Web Integral para Pruebas y Evaluación de Agentes Multimodales de Modelos de Lenguaje Grande

Open CaptchaWorld: A Comprehensive Web-based Platform for Testing and Benchmarking Multimodal LLM Agents

May 30, 2025

Autores: Yaxin Luo, Zhaoyi Li, Jiacheng Liu, Jiacheng Cui, Xiaohan Zhao, Zhiqiang Shen

cs.AI

Resumen

Los CAPTCHAs han sido un cuello de botella crítico para implementar agentes web en aplicaciones del mundo real, a menudo impidiéndoles completar tareas de automatización de extremo a extremo. Si bien los agentes modernos de modelos de lenguaje multimodal (MLLM) han demostrado un rendimiento impresionante en tareas de percepción estática, su capacidad para manejar desafíos interactivos de razonamiento de múltiples pasos, como los CAPTCHAs, está en gran medida sin probar. Para abordar esta brecha, presentamos Open CaptchaWorld, el primer benchmark y plataforma basados en la web diseñados específicamente para evaluar las capacidades de razonamiento visual e interacción de agentes impulsados por MLLM a través de diversos y dinámicos rompecabezas CAPTCHA. Nuestro benchmark abarca 20 tipos modernos de CAPTCHA, totalizando 225 CAPTCHAs, anotados con una nueva métrica que proponemos: Profundidad de Razonamiento CAPTCHA, que cuantifica el número de pasos cognitivos y motores necesarios para resolver cada rompecabezas. Los resultados experimentales muestran que los humanos logran consistentemente puntuaciones casi perfectas, mientras que los agentes MLLM de vanguardia tienen dificultades significativas, con tasas de éxito de como máximo 40.0% por Browser-Use Openai-o3, muy por debajo del rendimiento humano, 93.3%. Esto destaca a Open CaptchaWorld como un benchmark vital para diagnosticar los límites de los agentes multimodales actuales y guiar el desarrollo de sistemas de razonamiento multimodal más robustos. El código y los datos están disponibles en este enlace https.

English

CAPTCHAs have been a critical bottleneck for deploying web agents in real-world applications, often blocking them from completing end-to-end automation tasks. While modern multimodal LLM agents have demonstrated impressive performance in static perception tasks, their ability to handle interactive, multi-step reasoning challenges like CAPTCHAs is largely untested. To address this gap, we introduce Open CaptchaWorld, the first web-based benchmark and platform specifically designed to evaluate the visual reasoning and interaction capabilities of MLLM-powered agents through diverse and dynamic CAPTCHA puzzles. Our benchmark spans 20 modern CAPTCHA types, totaling 225 CAPTCHAs, annotated with a new metric we propose: CAPTCHA Reasoning Depth, which quantifies the number of cognitive and motor steps required to solve each puzzle. Experimental results show that humans consistently achieve near-perfect scores, state-of-the-art MLLM agents struggle significantly, with success rates at most 40.0% by Browser-Use Openai-o3, far below human-level performance, 93.3%. This highlights Open CaptchaWorld as a vital benchmark for diagnosing the limits of current multimodal agents and guiding the development of more robust multimodal reasoning systems. Code and Data are available at this https URL.