Adversariale aanvallen op gesloten-bron MLLM's via optimale kenmerkuitlijning

Samenvatting

Multimodale grote taalmodellen (MLLMs) blijven kwetsbaar voor overdraagbare adversariële voorbeelden. Hoewel bestaande methoden doorgaans gerichte aanvallen bereiken door globale kenmerken—zoals het [CLS]-token van CLIP—tussen adversariële en doelmonsters uit te lijnen, negeren ze vaak de rijke lokale informatie die gecodeerd is in patch-tokens. Dit leidt tot suboptimale uitlijning en beperkte overdraagbaarheid, vooral voor closed-source modellen. Om deze beperking aan te pakken, stellen we een gerichte overdraagbare adversariële aanvalsmethode voor, gebaseerd op optimale kenmerkuitlijning, genaamd FOA-Attack, om de adversariële overdrachtbaarheid te verbeteren. Specifiek introduceren we op globaal niveau een globaal kenmerkverlies gebaseerd op cosinusgelijkenis om de grofkorrelige kenmerken van adversariële monsters uit te lijnen met die van doelmonsters. Op lokaal niveau, gezien de rijke lokale representaties binnen Transformers, maken we gebruik van clusteringtechnieken om compacte lokale patronen te extraheren om redundante lokale kenmerken te verminderen. Vervolgens formuleren we lokale kenmerkuitlijning tussen adversariële en doelmonsters als een optimaal transport (OT)-probleem en stellen we een lokaal clustering optimaal transportverlies voor om fijnkorrelige kenmerkuitlijning te verfijnen. Daarnaast stellen we een dynamische ensemblemodelwegingstrategie voor om adaptief de invloed van meerdere modellen tijdens de generatie van adversariële voorbeelden in evenwicht te brengen, waardoor de overdraagbaarheid verder wordt verbeterd. Uitgebreide experimenten over verschillende modellen demonstreren de superioriteit van de voorgestelde methode, die state-of-the-art methoden overtreft, vooral bij het overdragen naar closed-source MLLMs. De code is vrijgegeven op https://github.com/jiaxiaojunQAQ/FOA-Attack.

English

Multimodal large language models (MLLMs) remain vulnerable to transferable adversarial examples. While existing methods typically achieve targeted attacks by aligning global features-such as CLIP's [CLS] token-between adversarial and target samples, they often overlook the rich local information encoded in patch tokens. This leads to suboptimal alignment and limited transferability, particularly for closed-source models. To address this limitation, we propose a targeted transferable adversarial attack method based on feature optimal alignment, called FOA-Attack, to improve adversarial transfer capability. Specifically, at the global level, we introduce a global feature loss based on cosine similarity to align the coarse-grained features of adversarial samples with those of target samples. At the local level, given the rich local representations within Transformers, we leverage clustering techniques to extract compact local patterns to alleviate redundant local features. We then formulate local feature alignment between adversarial and target samples as an optimal transport (OT) problem and propose a local clustering optimal transport loss to refine fine-grained feature alignment. Additionally, we propose a dynamic ensemble model weighting strategy to adaptively balance the influence of multiple models during adversarial example generation, thereby further improving transferability. Extensive experiments across various models demonstrate the superiority of the proposed method, outperforming state-of-the-art methods, especially in transferring to closed-source MLLMs. The code is released at https://github.com/jiaxiaojunQAQ/FOA-Attack.

Adversariale aanvallen op gesloten-bron MLLM's via optimale kenmerkuitlijning

Adversarial Attacks against Closed-Source MLLMs via Feature Optimal Alignment

Samenvatting

Support