Adversariale Angriffe auf geschlossene MLLMs durch optimale Feature-Ausrichtung

Adversarial Attacks against Closed-Source MLLMs via Feature Optimal Alignment

May 27, 2025

Autoren: Xiaojun Jia, Sensen Gao, Simeng Qin, Tianyu Pang, Chao Du, Yihao Huang, Xinfeng Li, Yiming Li, Bo Li, Yang Liu

cs.AI

Zusammenfassung

Multimodale große Sprachmodelle (MLLMs) bleiben anfällig für übertragbare adversariale Beispiele. Während bestehende Methoden gezielte Angriffe typischerweise durch die Ausrichtung globaler Merkmale – wie den [CLS]-Token von CLIP – zwischen adversarialen und Zielproben erreichen, übersehen sie oft die reichhaltigen lokalen Informationen, die in Patch-Token kodiert sind. Dies führt zu suboptimaler Ausrichtung und begrenzter Übertragbarkeit, insbesondere bei Closed-Source-Modellen. Um diese Einschränkung zu überwinden, schlagen wir eine gezielte übertragbare adversariale Angriffsmethode basierend auf optimaler Merkmalsausrichtung vor, genannt FOA-Attack, um die adversariale Übertragungsfähigkeit zu verbessern. Konkret führen wir auf globaler Ebene einen globalen Merkmalsverlust basierend auf Kosinusähnlichkeit ein, um die grobkörnigen Merkmale adversarialer Proben mit denen der Zielproben auszurichten. Auf lokaler Ebene nutzen wir angesichts der reichhaltigen lokalen Repräsentationen innerhalb von Transformern Clustering-Techniken, um kompakte lokale Muster zu extrahieren und redundante lokale Merkmale zu reduzieren. Anschließend formulieren wir die lokale Merkmalsausrichtung zwischen adversarialen und Zielproben als ein Optimal-Transport-Problem (OT) und schlagen einen lokalen Clustering-Optimal-Transport-Verlust vor, um die feinkörnige Merkmalsausrichtung zu verfeinern. Zusätzlich schlagen wir eine dynamische Ensemble-Modellgewichtungsstrategie vor, um den Einfluss mehrerer Modelle während der Generierung adversarialer Beispiele adaptiv auszubalancieren und dadurch die Übertragbarkeit weiter zu verbessern. Umfangreiche Experimente über verschiedene Modelle hinweg demonstrieren die Überlegenheit der vorgeschlagenen Methode, die state-of-the-art-Methoden übertrifft, insbesondere bei der Übertragung auf Closed-Source-MLLMs. Der Code ist unter https://github.com/jiaxiaojunQAQ/FOA-Attack veröffentlicht.

English

Multimodal large language models (MLLMs) remain vulnerable to transferable adversarial examples. While existing methods typically achieve targeted attacks by aligning global features-such as CLIP's [CLS] token-between adversarial and target samples, they often overlook the rich local information encoded in patch tokens. This leads to suboptimal alignment and limited transferability, particularly for closed-source models. To address this limitation, we propose a targeted transferable adversarial attack method based on feature optimal alignment, called FOA-Attack, to improve adversarial transfer capability. Specifically, at the global level, we introduce a global feature loss based on cosine similarity to align the coarse-grained features of adversarial samples with those of target samples. At the local level, given the rich local representations within Transformers, we leverage clustering techniques to extract compact local patterns to alleviate redundant local features. We then formulate local feature alignment between adversarial and target samples as an optimal transport (OT) problem and propose a local clustering optimal transport loss to refine fine-grained feature alignment. Additionally, we propose a dynamic ensemble model weighting strategy to adaptively balance the influence of multiple models during adversarial example generation, thereby further improving transferability. Extensive experiments across various models demonstrate the superiority of the proposed method, outperforming state-of-the-art methods, especially in transferring to closed-source MLLMs. The code is released at https://github.com/jiaxiaojunQAQ/FOA-Attack.