MCA-Bench: Мультимодальный эталонный тест для оценки устойчивости CAPTCHA к атакам на основе VLM
MCA-Bench: A Multimodal Benchmark for Evaluating CAPTCHA Robustness Against VLM-based Attacks
June 6, 2025
Авторы: Zonglin Wu, Yule Xue, Xin Wei, Yiren Song
cs.AI
Аннотация
С развитием автоматизированных методов атак CAPTCHA остаются критически важным механизмом защиты от вредоносных ботов. Однако существующие схемы CAPTCHA охватывают широкий спектр модальностей — от статического искажённого текста и зашифрованных изображений до интерактивных кликов, слайдовых головоломок и логических вопросов — при этом сообщество всё ещё не имеет унифицированного, крупномасштабного, мультимодального бенчмарка для строгой оценки их устойчивости к атакам. Для устранения этого пробела мы представляем MCA-Bench, комплексный и воспроизводимый набор инструментов для тестирования, который интегрирует различные типы CAPTCHA в единый протокол оценки. Используя общую архитектуру модели на основе зрения и языка, мы дообучаем специализированные агенты для взлома каждой категории CAPTCHA, что позволяет проводить согласованную кросс-модальную оценку. Масштабные эксперименты показывают, что MCA-Bench эффективно отображает спектр уязвимостей современных дизайнов CAPTCHA в различных условиях атак и, что особенно важно, предлагает первый количественный анализ взаимосвязи между сложностью задачи, глубиной взаимодействия и решаемостью модели. На основе этих результатов мы предлагаем три практических принципа проектирования и выделяем ключевые открытые проблемы, закладывая основу для систематического укрепления CAPTCHA, справедливого тестирования и более широкого сотрудничества в сообществе. Наборы данных и код доступны онлайн.
English
As automated attack techniques rapidly advance, CAPTCHAs remain a critical
defense mechanism against malicious bots. However, existing CAPTCHA schemes
encompass a diverse range of modalities -- from static distorted text and
obfuscated images to interactive clicks, sliding puzzles, and logic-based
questions -- yet the community still lacks a unified, large-scale, multimodal
benchmark to rigorously evaluate their security robustness. To address this
gap, we introduce MCA-Bench, a comprehensive and reproducible benchmarking
suite that integrates heterogeneous CAPTCHA types into a single evaluation
protocol. Leveraging a shared vision-language model backbone, we fine-tune
specialized cracking agents for each CAPTCHA category, enabling consistent,
cross-modal assessments. Extensive experiments reveal that MCA-Bench
effectively maps the vulnerability spectrum of modern CAPTCHA designs under
varied attack settings, and crucially offers the first quantitative analysis of
how challenge complexity, interaction depth, and model solvability interrelate.
Based on these findings, we propose three actionable design principles and
identify key open challenges, laying the groundwork for systematic CAPTCHA
hardening, fair benchmarking, and broader community collaboration. Datasets and
code are available online.