MCA-Bench: VLMベース攻撃に対するCAPTCHA堅牢性評価のためのマルチモーダルベンチマーク
MCA-Bench: A Multimodal Benchmark for Evaluating CAPTCHA Robustness Against VLM-based Attacks
June 6, 2025
著者: Zonglin Wu, Yule Xue, Xin Wei, Yiren Song
cs.AI
要旨
自動化された攻撃技術が急速に進化する中、CAPTCHAは悪意のあるボットに対する重要な防御メカニズムとしての役割を果たし続けている。しかし、既存のCAPTCHAスキームは、静的な歪んだテキストや難読化された画像から、インタラクティブなクリック、スライドパズル、論理ベースの質問まで、多様なモダリティを包含しているにもかかわらず、そのセキュリティの堅牢性を厳密に評価するための統一された大規模なマルチモーダルベンチマークがコミュニティにはまだ存在しない。このギャップを埋めるため、我々はMCA-Benchを導入する。これは、異種のCAPTCHAタイプを単一の評価プロトコルに統合した包括的かつ再現可能なベンチマークスイートである。共有された視覚言語モデルバックボーンを活用し、各CAPTCHAカテゴリに対して専門的なクラッキングエージェントをファインチューニングすることで、一貫したクロスモーダル評価を可能にする。大規模な実験により、MCA-Benchが現代のCAPTCHA設計の脆弱性スペクトルを様々な攻撃設定下で効果的にマッピングし、特に課題の複雑さ、インタラクションの深さ、モデルの解決可能性がどのように相互に関連するかについて初めて定量的な分析を提供することが明らかになった。これらの知見に基づき、我々は3つの実践可能な設計原則を提案し、主要な未解決の課題を特定し、体系的なCAPTCHAの強化、公平なベンチマーク、そしてより広範なコミュニティ協力の基盤を築く。データセットとコードはオンラインで公開されている。
English
As automated attack techniques rapidly advance, CAPTCHAs remain a critical
defense mechanism against malicious bots. However, existing CAPTCHA schemes
encompass a diverse range of modalities -- from static distorted text and
obfuscated images to interactive clicks, sliding puzzles, and logic-based
questions -- yet the community still lacks a unified, large-scale, multimodal
benchmark to rigorously evaluate their security robustness. To address this
gap, we introduce MCA-Bench, a comprehensive and reproducible benchmarking
suite that integrates heterogeneous CAPTCHA types into a single evaluation
protocol. Leveraging a shared vision-language model backbone, we fine-tune
specialized cracking agents for each CAPTCHA category, enabling consistent,
cross-modal assessments. Extensive experiments reveal that MCA-Bench
effectively maps the vulnerability spectrum of modern CAPTCHA designs under
varied attack settings, and crucially offers the first quantitative analysis of
how challenge complexity, interaction depth, and model solvability interrelate.
Based on these findings, we propose three actionable design principles and
identify key open challenges, laying the groundwork for systematic CAPTCHA
hardening, fair benchmarking, and broader community collaboration. Datasets and
code are available online.