Ataques Adversariales contra MLLMs de Código Cerrado mediante Alineación Óptima de Características

Adversarial Attacks against Closed-Source MLLMs via Feature Optimal Alignment

May 27, 2025

Autores: Xiaojun Jia, Sensen Gao, Simeng Qin, Tianyu Pang, Chao Du, Yihao Huang, Xinfeng Li, Yiming Li, Bo Li, Yang Liu

cs.AI

Resumen

Los modelos de lenguaje multimodal de gran escala (MLLMs) siguen siendo vulnerables a ejemplos adversarios transferibles. Mientras que los métodos existentes suelen lograr ataques dirigidos al alinear características globales—como el token [CLS] de CLIP—entre muestras adversarias y objetivo, a menudo pasan por alto la rica información local codificada en los tokens de parches. Esto conduce a una alineación subóptima y una transferibilidad limitada, especialmente para modelos de código cerrado. Para abordar esta limitación, proponemos un método de ataque adversario transferible dirigido basado en la alineación óptima de características, llamado FOA-Attack, para mejorar la capacidad de transferencia adversaria. Específicamente, a nivel global, introducimos una pérdida de características globales basada en la similitud del coseno para alinear las características de grano grueso de las muestras adversarias con las de las muestras objetivo. A nivel local, dada las ricas representaciones locales dentro de los Transformers, utilizamos técnicas de agrupamiento para extraer patrones locales compactos y así mitigar características locales redundantes. Luego, formulamos la alineación de características locales entre muestras adversarias y objetivo como un problema de transporte óptimo (OT) y proponemos una pérdida de transporte óptimo con agrupamiento local para refinar la alineación de características de grano fino. Además, proponemos una estrategia de ponderación dinámica de modelos en conjunto para equilibrar adaptativamente la influencia de múltiples modelos durante la generación de ejemplos adversarios, mejorando así aún más la transferibilidad. Experimentos extensos en varios modelos demuestran la superioridad del método propuesto, superando a los métodos más avanzados, especialmente en la transferencia a MLLMs de código cerrado. El código está disponible en https://github.com/jiaxiaojunQAQ/FOA-Attack.

English

Multimodal large language models (MLLMs) remain vulnerable to transferable adversarial examples. While existing methods typically achieve targeted attacks by aligning global features-such as CLIP's [CLS] token-between adversarial and target samples, they often overlook the rich local information encoded in patch tokens. This leads to suboptimal alignment and limited transferability, particularly for closed-source models. To address this limitation, we propose a targeted transferable adversarial attack method based on feature optimal alignment, called FOA-Attack, to improve adversarial transfer capability. Specifically, at the global level, we introduce a global feature loss based on cosine similarity to align the coarse-grained features of adversarial samples with those of target samples. At the local level, given the rich local representations within Transformers, we leverage clustering techniques to extract compact local patterns to alleviate redundant local features. We then formulate local feature alignment between adversarial and target samples as an optimal transport (OT) problem and propose a local clustering optimal transport loss to refine fine-grained feature alignment. Additionally, we propose a dynamic ensemble model weighting strategy to adaptively balance the influence of multiple models during adversarial example generation, thereby further improving transferability. Extensive experiments across various models demonstrate the superiority of the proposed method, outperforming state-of-the-art methods, especially in transferring to closed-source MLLMs. The code is released at https://github.com/jiaxiaojunQAQ/FOA-Attack.