Attaques adverses contre les MLLM propriétaires via un alignement optimal des caractéristiques

Adversarial Attacks against Closed-Source MLLMs via Feature Optimal Alignment

May 27, 2025

Auteurs: Xiaojun Jia, Sensen Gao, Simeng Qin, Tianyu Pang, Chao Du, Yihao Huang, Xinfeng Li, Yiming Li, Bo Li, Yang Liu

cs.AI

Résumé

Les modèles de langage multimodaux de grande taille (MLLMs) restent vulnérables aux exemples adversaires transférables. Alors que les méthodes existantes parviennent généralement à des attaques ciblées en alignant les caractéristiques globales—telles que le token [CLS] de CLIP—entre les échantillons adversaires et cibles, elles négligent souvent les riches informations locales encodées dans les tokens de patch. Cela conduit à un alignement sous-optimal et à une transférabilité limitée, en particulier pour les modèles propriétaires. Pour remédier à cette limitation, nous proposons une méthode d'attaque adverse transférable ciblée basée sur l'alignement optimal des caractéristiques, appelée FOA-Attack, afin d'améliorer la capacité de transfert adverse. Plus précisément, au niveau global, nous introduisons une perte de caractéristiques globales basée sur la similarité cosinus pour aligner les caractéristiques grossières des échantillons adversaires avec celles des échantillons cibles. Au niveau local, étant donné les riches représentations locales au sein des Transformers, nous exploitons des techniques de clustering pour extraire des motifs locaux compacts afin de réduire les caractéristiques locales redondantes. Nous formulons ensuite l'alignement des caractéristiques locales entre les échantillons adversaires et cibles comme un problème de transport optimal (OT) et proposons une perte de transport optimal par clustering local pour affiner l'alignement des caractéristiques fines. De plus, nous proposons une stratégie de pondération dynamique des modèles d'ensemble pour équilibrer de manière adaptative l'influence de plusieurs modèles lors de la génération d'exemples adversaires, améliorant ainsi davantage la transférabilité. Des expériences approfondies sur divers modèles démontrent la supériorité de la méthode proposée, surpassant les méthodes de pointe, en particulier pour le transfert vers des MLLMs propriétaires. Le code est disponible à l'adresse https://github.com/jiaxiaojunQAQ/FOA-Attack.

English

Multimodal large language models (MLLMs) remain vulnerable to transferable adversarial examples. While existing methods typically achieve targeted attacks by aligning global features-such as CLIP's [CLS] token-between adversarial and target samples, they often overlook the rich local information encoded in patch tokens. This leads to suboptimal alignment and limited transferability, particularly for closed-source models. To address this limitation, we propose a targeted transferable adversarial attack method based on feature optimal alignment, called FOA-Attack, to improve adversarial transfer capability. Specifically, at the global level, we introduce a global feature loss based on cosine similarity to align the coarse-grained features of adversarial samples with those of target samples. At the local level, given the rich local representations within Transformers, we leverage clustering techniques to extract compact local patterns to alleviate redundant local features. We then formulate local feature alignment between adversarial and target samples as an optimal transport (OT) problem and propose a local clustering optimal transport loss to refine fine-grained feature alignment. Additionally, we propose a dynamic ensemble model weighting strategy to adaptively balance the influence of multiple models during adversarial example generation, thereby further improving transferability. Extensive experiments across various models demonstrate the superiority of the proposed method, outperforming state-of-the-art methods, especially in transferring to closed-source MLLMs. The code is released at https://github.com/jiaxiaojunQAQ/FOA-Attack.