Атаки на закрытые многомодальные языковые модели через оптимальное выравнивание признаков

Adversarial Attacks against Closed-Source MLLMs via Feature Optimal Alignment

May 27, 2025

Авторы: Xiaojun Jia, Sensen Gao, Simeng Qin, Tianyu Pang, Chao Du, Yihao Huang, Xinfeng Li, Yiming Li, Bo Li, Yang Liu

cs.AI

Аннотация

Мультимодальные большие языковые модели (MLLMs) остаются уязвимыми для переносимых состязательных примеров. Хотя существующие методы обычно достигают целевых атак путем выравнивания глобальных признаков — таких как [CLS]-токен в CLIP — между состязательными и целевыми образцами, они часто упускают из виду богатую локальную информацию, закодированную в токенах патчей. Это приводит к неоптимальному выравниванию и ограниченной переносимости, особенно для моделей с закрытым исходным кодом. Чтобы устранить это ограничение, мы предлагаем метод целевой переносимой состязательной атаки, основанный на оптимальном выравнивании признаков, называемый FOA-Attack, для улучшения способности к переносу состязательных примеров. В частности, на глобальном уровне мы вводим функцию потерь для глобальных признаков, основанную на косинусном сходстве, чтобы выровнять крупнозернистые признаки состязательных образцов с признаками целевых образцов. На локальном уровне, учитывая богатые локальные представления в Transformers, мы используем методы кластеризации для извлечения компактных локальных паттернов, чтобы уменьшить избыточность локальных признаков. Затем мы формулируем выравнивание локальных признаков между состязательными и целевыми образцами как задачу оптимального транспорта (OT) и предлагаем функцию потерь для локальной кластеризации оптимального транспорта, чтобы уточнить мелкозернистое выравнивание признаков. Кроме того, мы предлагаем стратегию динамического взвешивания ансамбля моделей для адаптивного балансирования влияния нескольких моделей в процессе генерации состязательных примеров, что дополнительно улучшает переносимость. Многочисленные эксперименты на различных моделях демонстрируют превосходство предложенного метода, превосходящего современные методы, особенно в переносе на MLLMs с закрытым исходным кодом. Код доступен по адресу https://github.com/jiaxiaojunQAQ/FOA-Attack.

English

Multimodal large language models (MLLMs) remain vulnerable to transferable adversarial examples. While existing methods typically achieve targeted attacks by aligning global features-such as CLIP's [CLS] token-between adversarial and target samples, they often overlook the rich local information encoded in patch tokens. This leads to suboptimal alignment and limited transferability, particularly for closed-source models. To address this limitation, we propose a targeted transferable adversarial attack method based on feature optimal alignment, called FOA-Attack, to improve adversarial transfer capability. Specifically, at the global level, we introduce a global feature loss based on cosine similarity to align the coarse-grained features of adversarial samples with those of target samples. At the local level, given the rich local representations within Transformers, we leverage clustering techniques to extract compact local patterns to alleviate redundant local features. We then formulate local feature alignment between adversarial and target samples as an optimal transport (OT) problem and propose a local clustering optimal transport loss to refine fine-grained feature alignment. Additionally, we propose a dynamic ensemble model weighting strategy to adaptively balance the influence of multiple models during adversarial example generation, thereby further improving transferability. Extensive experiments across various models demonstrate the superiority of the proposed method, outperforming state-of-the-art methods, especially in transferring to closed-source MLLMs. The code is released at https://github.com/jiaxiaojunQAQ/FOA-Attack.