Attaque de Confusion Adversaire : Perturber les Modèles de Langage Multimodaux de Grande Taille
Adversarial Confusion Attack: Disrupting Multimodal Large Language Models
November 25, 2025
papers.authors: Jakub Hoscilowicz, Artur Janicki
cs.AI
papers.abstract
Nous présentons l'attaque par confusion antagoniste, une nouvelle classe de menaces contre les modèles de langage multimodaux de grande taille (MLLM). Contrairement aux contournements de sécurité ou aux erreurs de classification ciblées, l'objectif est d'induire une perturbation systématique amenant le modèle à générer des sorties incohérentes ou incorrectes avec une confiance élevée. Les applications pratiques incluent l'intégration de telles images antagoniques dans des sites web pour empêcher les agents IA alimentés par des MLLM de fonctionner de manière fiable. L'attaque proposée maximise l'entropie du token suivant en utilisant un petit ensemble de MLLM open-source. Dans le scénario en boîte blanche, nous montrons qu'une seule image antagonique peut perturber tous les modèles de l'ensemble, tant dans le contexte d'image complète que dans le cadre d'Adversarial CAPTCHA. Bien que reposant sur une technique antagoniste basique (PGD), l'attaque génère des perturbations qui se transfèrent à la fois vers des modèles open-source non vus (par exemple, Qwen3-VL) et propriétaires (par exemple, GPT-5.1).
English
We introduce the Adversarial Confusion Attack, a new class of threats against multimodal large language models (MLLMs). Unlike jailbreaks or targeted misclassification, the goal is to induce systematic disruption that makes the model generate incoherent or confidently incorrect outputs. Practical applications include embedding such adversarial images into websites to prevent MLLM-powered AI Agents from operating reliably. The proposed attack maximizes next-token entropy using a small ensemble of open-source MLLMs. In the white-box setting, we show that a single adversarial image can disrupt all models in the ensemble, both in the full-image and Adversarial CAPTCHA settings. Despite relying on a basic adversarial technique (PGD), the attack generates perturbations that transfer to both unseen open-source (e.g., Qwen3-VL) and proprietary (e.g., GPT-5.1) models.