Attacchi Avversari contro MLLM Closed-Source tramite Allineamento Ottimale delle Caratteristiche

Adversarial Attacks against Closed-Source MLLMs via Feature Optimal Alignment

May 27, 2025

Autori: Xiaojun Jia, Sensen Gao, Simeng Qin, Tianyu Pang, Chao Du, Yihao Huang, Xinfeng Li, Yiming Li, Bo Li, Yang Liu

cs.AI

Abstract

I modelli linguistici multimodali di grandi dimensioni (MLLMs) rimangono vulnerabili a esempi avversari trasferibili. Mentre i metodi esistenti tipicamente ottengono attacchi mirati allineando caratteristiche globali—come il token [CLS] di CLIP—tra campioni avversari e target, spesso trascurano le ricche informazioni locali codificate nei token di patch. Ciò porta a un allineamento subottimale e a una trasferibilità limitata, specialmente per i modelli closed-source. Per affrontare questa limitazione, proponiamo un metodo di attacco avversario trasferibile mirato basato sull'allineamento ottimale delle caratteristiche, chiamato FOA-Attack, per migliorare la capacità trasferibile degli attacchi avversari. Nello specifico, a livello globale, introduciamo una perdita di caratteristiche globali basata sulla similarità del coseno per allineare le caratteristiche grossolane dei campioni avversari con quelle dei campioni target. A livello locale, data la ricca rappresentazione locale all'interno dei Transformer, sfruttiamo tecniche di clustering per estrarre pattern locali compatti per alleviare le caratteristiche locali ridondanti. Formuliamo quindi l'allineamento delle caratteristiche locali tra campioni avversari e target come un problema di trasporto ottimale (OT) e proponiamo una perdita di trasporto ottimale con clustering locale per affinare l'allineamento delle caratteristiche fini. Inoltre, proponiamo una strategia di ponderazione dinamica dei modelli ensemble per bilanciare adattivamente l'influenza di più modelli durante la generazione di esempi avversari, migliorando ulteriormente la trasferibilità. Esperimenti estesi su vari modelli dimostrano la superiorità del metodo proposto, superando i metodi all'avanguardia, specialmente nel trasferimento a MLLMs closed-source. Il codice è rilasciato su https://github.com/jiaxiaojunQAQ/FOA-Attack.

English

Multimodal large language models (MLLMs) remain vulnerable to transferable adversarial examples. While existing methods typically achieve targeted attacks by aligning global features-such as CLIP's [CLS] token-between adversarial and target samples, they often overlook the rich local information encoded in patch tokens. This leads to suboptimal alignment and limited transferability, particularly for closed-source models. To address this limitation, we propose a targeted transferable adversarial attack method based on feature optimal alignment, called FOA-Attack, to improve adversarial transfer capability. Specifically, at the global level, we introduce a global feature loss based on cosine similarity to align the coarse-grained features of adversarial samples with those of target samples. At the local level, given the rich local representations within Transformers, we leverage clustering techniques to extract compact local patterns to alleviate redundant local features. We then formulate local feature alignment between adversarial and target samples as an optimal transport (OT) problem and propose a local clustering optimal transport loss to refine fine-grained feature alignment. Additionally, we propose a dynamic ensemble model weighting strategy to adaptively balance the influence of multiple models during adversarial example generation, thereby further improving transferability. Extensive experiments across various models demonstrate the superiority of the proposed method, outperforming state-of-the-art methods, especially in transferring to closed-source MLLMs. The code is released at https://github.com/jiaxiaojunQAQ/FOA-Attack.