MCA-Bench: Un Benchmark Multimodale per Valutare la Robustezza dei CAPTCHA contro Attacchi Basati su VLM
MCA-Bench: A Multimodal Benchmark for Evaluating CAPTCHA Robustness Against VLM-based Attacks
June 6, 2025
Autori: Zonglin Wu, Yule Xue, Xin Wei, Yiren Song
cs.AI
Abstract
Con il rapido avanzamento delle tecniche di attacco automatizzate, i CAPTCHA rimangono un meccanismo di difesa cruciale contro i bot malevoli. Tuttavia, gli schemi di CAPTCHA esistenti comprendono una vasta gamma di modalità, che vanno da testi distorti statici e immagini offuscate a clic interattivi, puzzle scorrevoli e domande basate sulla logica, eppure la comunità manca ancora di un benchmark unificato, su larga scala e multimodale per valutare rigorosamente la loro robustezza in termini di sicurezza. Per colmare questa lacuna, introduciamo MCA-Bench, una suite di benchmarking completa e riproducibile che integra tipi eterogenei di CAPTCHA in un unico protocollo di valutazione. Sfruttando un modello backbone condiviso di visione e linguaggio, ottimizziamo agenti di cracking specializzati per ogni categoria di CAPTCHA, consentendo valutazioni coerenti e cross-modali. Esperimenti estensivi rivelano che MCA-Bench mappa efficacemente lo spettro di vulnerabilità dei design moderni di CAPTCHA in vari contesti di attacco e, in modo cruciale, offre la prima analisi quantitativa di come la complessità della sfida, la profondità dell'interazione e la risolvibilità del modello siano interconnesse. Sulla base di questi risultati, proponiamo tre principi di design attuabili e identifichiamo le principali sfide aperte, gettando le basi per un rafforzamento sistematico dei CAPTCHA, un benchmarking equo e una più ampia collaborazione comunitaria. I dataset e il codice sono disponibili online.
English
As automated attack techniques rapidly advance, CAPTCHAs remain a critical
defense mechanism against malicious bots. However, existing CAPTCHA schemes
encompass a diverse range of modalities -- from static distorted text and
obfuscated images to interactive clicks, sliding puzzles, and logic-based
questions -- yet the community still lacks a unified, large-scale, multimodal
benchmark to rigorously evaluate their security robustness. To address this
gap, we introduce MCA-Bench, a comprehensive and reproducible benchmarking
suite that integrates heterogeneous CAPTCHA types into a single evaluation
protocol. Leveraging a shared vision-language model backbone, we fine-tune
specialized cracking agents for each CAPTCHA category, enabling consistent,
cross-modal assessments. Extensive experiments reveal that MCA-Bench
effectively maps the vulnerability spectrum of modern CAPTCHA designs under
varied attack settings, and crucially offers the first quantitative analysis of
how challenge complexity, interaction depth, and model solvability interrelate.
Based on these findings, we propose three actionable design principles and
identify key open challenges, laying the groundwork for systematic CAPTCHA
hardening, fair benchmarking, and broader community collaboration. Datasets and
code are available online.