Open CaptchaWorld: Een Uitgebreid Webgebaseerd Platform voor het Testen en Benchmarken van Multimodale LLM-Agenten

Open CaptchaWorld: A Comprehensive Web-based Platform for Testing and Benchmarking Multimodal LLM Agents

May 30, 2025

Auteurs: Yaxin Luo, Zhaoyi Li, Jiacheng Liu, Jiacheng Cui, Xiaohan Zhao, Zhiqiang Shen

cs.AI

Samenvatting

CAPTCHA's vormen een kritieke bottleneck voor het inzetten van webagents in real-world toepassingen, waarbij ze vaak worden belemmerd bij het voltooien van end-to-end automatiserings taken. Hoewel moderne multimodale LLM-agents indrukwekkende prestaties hebben laten zien in statische perceptietaken, is hun vermogen om interactieve, meerstaps redeneeruitdagingen zoals CAPTCHA's aan te pakken grotendeels ongetest. Om deze kloof te dichten, introduceren we Open CaptchaWorld, de eerste webgebaseerde benchmark en platform die specifiek is ontworpen om de visuele redeneer- en interactiecapaciteiten van MLLM-aangedreven agents te evalueren via diverse en dynamische CAPTCHA-puzzels. Onze benchmark omvat 20 moderne CAPTCHA-typen, in totaal 225 CAPTCHA's, geannoteerd met een nieuwe metriek die we voorstellen: CAPTCHA Reasoning Depth, die het aantal cognitieve en motorische stappen kwantificeert dat nodig is om elke puzzel op te lossen. Experimentele resultaten tonen aan dat mensen consistent bijna perfecte scores behalen, terwijl state-of-the-art MLLM-agents aanzienlijk worstelen, met slagingspercentages van maximaal 40,0% door Browser-Use Openai-o3, ver onder het menselijke prestatieniveau van 93,3%. Dit benadrukt Open CaptchaWorld als een cruciale benchmark voor het diagnosticeren van de grenzen van huidige multimodale agents en het begeleiden van de ontwikkeling van robuustere multimodale redeneersystemen. Code en gegevens zijn beschikbaar op deze https URL.

English

CAPTCHAs have been a critical bottleneck for deploying web agents in real-world applications, often blocking them from completing end-to-end automation tasks. While modern multimodal LLM agents have demonstrated impressive performance in static perception tasks, their ability to handle interactive, multi-step reasoning challenges like CAPTCHAs is largely untested. To address this gap, we introduce Open CaptchaWorld, the first web-based benchmark and platform specifically designed to evaluate the visual reasoning and interaction capabilities of MLLM-powered agents through diverse and dynamic CAPTCHA puzzles. Our benchmark spans 20 modern CAPTCHA types, totaling 225 CAPTCHAs, annotated with a new metric we propose: CAPTCHA Reasoning Depth, which quantifies the number of cognitive and motor steps required to solve each puzzle. Experimental results show that humans consistently achieve near-perfect scores, state-of-the-art MLLM agents struggle significantly, with success rates at most 40.0% by Browser-Use Openai-o3, far below human-level performance, 93.3%. This highlights Open CaptchaWorld as a vital benchmark for diagnosing the limits of current multimodal agents and guiding the development of more robust multimodal reasoning systems. Code and Data are available at this https URL.