Ataques Adversariais contra MLLMs de Código Fechado via Alinhamento Ótimo de Características

Adversarial Attacks against Closed-Source MLLMs via Feature Optimal Alignment

May 27, 2025

Autores: Xiaojun Jia, Sensen Gao, Simeng Qin, Tianyu Pang, Chao Du, Yihao Huang, Xinfeng Li, Yiming Li, Bo Li, Yang Liu

cs.AI

Resumo

Modelos de linguagem multimodal de grande escala (MLLMs) permanecem vulneráveis a exemplos adversariais transferíveis. Enquanto os métodos existentes geralmente alcançam ataques direcionados alinhando características globais—como o token [CLS] do CLIP—entre amostras adversariais e alvo, eles frequentemente negligenciam a rica informação local codificada nos tokens de patches. Isso resulta em alinhamento subótimo e transferibilidade limitada, especialmente para modelos de código fechado. Para abordar essa limitação, propomos um método de ataque adversarial transferível direcionado baseado no alinhamento ótimo de características, chamado FOA-Attack, para melhorar a capacidade de transferência adversarial. Especificamente, no nível global, introduzimos uma perda de características globais baseada na similaridade de cosseno para alinhar as características de granularidade grossa das amostras adversariais com as das amostras alvo. No nível local, dada a rica representação local dentro dos Transformers, utilizamos técnicas de agrupamento para extrair padrões locais compactos, a fim de aliviar características locais redundantes. Em seguida, formulamos o alinhamento de características locais entre amostras adversariais e alvo como um problema de transporte ótimo (OT) e propomos uma perda de transporte ótimo com agrupamento local para refinar o alinhamento de características de granularidade fina. Além disso, propomos uma estratégia de ponderação dinâmica de modelos em conjunto para equilibrar adaptativamente a influência de múltiplos modelos durante a geração de exemplos adversariais, melhorando ainda mais a transferibilidade. Experimentos extensivos em vários modelos demonstram a superioridade do método proposto, superando métodos state-of-the-art, especialmente na transferência para MLLMs de código fechado. O código é disponibilizado em https://github.com/jiaxiaojunQAQ/FOA-Attack.

English

Multimodal large language models (MLLMs) remain vulnerable to transferable adversarial examples. While existing methods typically achieve targeted attacks by aligning global features-such as CLIP's [CLS] token-between adversarial and target samples, they often overlook the rich local information encoded in patch tokens. This leads to suboptimal alignment and limited transferability, particularly for closed-source models. To address this limitation, we propose a targeted transferable adversarial attack method based on feature optimal alignment, called FOA-Attack, to improve adversarial transfer capability. Specifically, at the global level, we introduce a global feature loss based on cosine similarity to align the coarse-grained features of adversarial samples with those of target samples. At the local level, given the rich local representations within Transformers, we leverage clustering techniques to extract compact local patterns to alleviate redundant local features. We then formulate local feature alignment between adversarial and target samples as an optimal transport (OT) problem and propose a local clustering optimal transport loss to refine fine-grained feature alignment. Additionally, we propose a dynamic ensemble model weighting strategy to adaptively balance the influence of multiple models during adversarial example generation, thereby further improving transferability. Extensive experiments across various models demonstrate the superiority of the proposed method, outperforming state-of-the-art methods, especially in transferring to closed-source MLLMs. The code is released at https://github.com/jiaxiaojunQAQ/FOA-Attack.