Open CaptchaWorld : Une plateforme web complète pour tester et évaluer les agents LLM multimodaux

Open CaptchaWorld: A Comprehensive Web-based Platform for Testing and Benchmarking Multimodal LLM Agents

May 30, 2025

Auteurs: Yaxin Luo, Zhaoyi Li, Jiacheng Liu, Jiacheng Cui, Xiaohan Zhao, Zhiqiang Shen

cs.AI

Résumé

Les CAPTCHA ont constitué un goulot d'étranglement majeur pour le déploiement d'agents web dans des applications réelles, les empêchant souvent de réaliser des tâches d'automatisation de bout en bout. Bien que les agents MLLM (Multimodal Large Language Models) modernes aient démontré des performances impressionnantes dans des tâches de perception statique, leur capacité à gérer des défis interactifs et à raisonnement multi-étapes comme les CAPTCHA reste largement inexplorée. Pour combler cette lacune, nous présentons Open CaptchaWorld, le premier benchmark et plateforme web spécifiquement conçus pour évaluer les capacités de raisonnement visuel et d'interaction des agents pilotés par MLLM à travers une variété de puzzles CAPTCHA dynamiques. Notre benchmark couvre 20 types modernes de CAPTCHA, totalisant 225 CAPTCHA, annotés avec une nouvelle métrique que nous proposons : la Profondeur de Raisonnement CAPTCHA, qui quantifie le nombre d'étapes cognitives et motrices nécessaires pour résoudre chaque puzzle. Les résultats expérimentaux montrent que les humains atteignent systématiquement des scores quasi parfaits, tandis que les agents MLLM de pointe rencontrent des difficultés significatives, avec des taux de réussite atteignant au maximum 40,0 % pour Browser-Use Openai-o3, bien en deçà de la performance humaine de 93,3 %. Cela souligne Open CaptchaWorld comme un benchmark essentiel pour diagnostiquer les limites des agents multimodaux actuels et guider le développement de systèmes de raisonnement multimodal plus robustes. Le code et les données sont disponibles à l'URL suivante : [insérer URL].

English

CAPTCHAs have been a critical bottleneck for deploying web agents in real-world applications, often blocking them from completing end-to-end automation tasks. While modern multimodal LLM agents have demonstrated impressive performance in static perception tasks, their ability to handle interactive, multi-step reasoning challenges like CAPTCHAs is largely untested. To address this gap, we introduce Open CaptchaWorld, the first web-based benchmark and platform specifically designed to evaluate the visual reasoning and interaction capabilities of MLLM-powered agents through diverse and dynamic CAPTCHA puzzles. Our benchmark spans 20 modern CAPTCHA types, totaling 225 CAPTCHAs, annotated with a new metric we propose: CAPTCHA Reasoning Depth, which quantifies the number of cognitive and motor steps required to solve each puzzle. Experimental results show that humans consistently achieve near-perfect scores, state-of-the-art MLLM agents struggle significantly, with success rates at most 40.0% by Browser-Use Openai-o3, far below human-level performance, 93.3%. This highlights Open CaptchaWorld as a vital benchmark for diagnosing the limits of current multimodal agents and guiding the development of more robust multimodal reasoning systems. Code and Data are available at this https URL.