GateBreaker: Ataques Guiados por Gates a LLMs com Mistura de Especialistas
GateBreaker: Gate-Guided Attacks on Mixture-of-Expert LLMs
December 24, 2025
Autores: Lichao Wu, Sasha Behrouzi, Mohamadreza Rostami, Stjepan Picek, Ahmad-Reza Sadeghi
cs.AI
Resumo
As arquiteturas Mixture-of-Experts (MoE) têm avançado a escalabilidade de Grandes Modelos de Linguagem (LLMs) ao ativar apenas um subconjunto esparso de parâmetros por entrada, permitindo desempenho de ponta com custo computacional reduzido. À medida que esses modelos são cada vez mais implantados em domínios críticos, compreender e fortalecer seus mecanismos de alinhamento é essencial para evitar resultados prejudiciais. No entanto, a pesquisa existente sobre segurança de LLMs tem-se concentrado quase exclusivamente em arquiteturas densas, deixando as propriedades de segurança únicas dos MoEs largamente inexploradas. O design modular e de ativação esparsa dos MoEs sugere que os mecanismos de segurança podem operar de forma diferente dos modelos densos, levantando questões sobre sua robustez.
Neste artigo, apresentamos o GateBreaker, o primeiro *framework* de ataque livre de treinamento, leve e agnóstico à arquitetura que compromete o alinhamento de segurança de MoE LLMs modernos no tempo de inferência. O GateBreaker opera em três estágios: (i) *profiling* a nível de *gate*, que identifica *experts* de segurança desproporcionalmente direcionados para entradas prejudiciais, (ii) localização a nível de *expert*, que localiza a estrutura de segurança dentro dos *experts* de segurança, e (iii) remoção direcionada de segurança, que desativa a estrutura de segurança identificada para comprometer o alinhamento de segurança. Nosso estudo mostra que a segurança dos MoEs concentra-se dentro de um pequeno subconjunto de neurónios coordenados pelo roteamento esparso. A desativação seletiva desses neurónios, aproximadamente 3% dos neurónios nas camadas de *expert* visadas, aumenta significativamente a taxa média de sucesso de ataque (ASR) de 7,4% para 64,9% contra os oito mais recentes MoE LLMs alinhados, com degradação limitada da utilidade. Esses neurónios de segurança transferem-se entre modelos da mesma família, elevando a ASR de 17,9% para 67,7% com um ataque de transferência *one-shot*. Além disso, o GateBreaker generaliza-se para cinco Modelos de Linguagem Visual (VLMs) baseados em MoE, alcançando 60,9% de ASR em entradas de imagem inseguras.
English
Mixture-of-Experts (MoE) architectures have advanced the scaling of Large Language Models (LLMs) by activating only a sparse subset of parameters per input, enabling state-of-the-art performance with reduced computational cost. As these models are increasingly deployed in critical domains, understanding and strengthening their alignment mechanisms is essential to prevent harmful outputs. However, existing LLM safety research has focused almost exclusively on dense architectures, leaving the unique safety properties of MoEs largely unexamined. The modular, sparsely-activated design of MoEs suggests that safety mechanisms may operate differently than in dense models, raising questions about their robustness.
In this paper, we present GateBreaker, the first training-free, lightweight, and architecture-agnostic attack framework that compromises the safety alignment of modern MoE LLMs at inference time. GateBreaker operates in three stages: (i) gate-level profiling, which identifies safety experts disproportionately routed on harmful inputs, (ii) expert-level localization, which localizes the safety structure within safety experts, and (iii) targeted safety removal, which disables the identified safety structure to compromise the safety alignment. Our study shows that MoE safety concentrates within a small subset of neurons coordinated by sparse routing. Selective disabling of these neurons, approximately 3% of neurons in the targeted expert layers, significantly increases the averaged attack success rate (ASR) from 7.4% to 64.9% against the eight latest aligned MoE LLMs with limited utility degradation. These safety neurons transfer across models within the same family, raising ASR from 17.9% to 67.7% with one-shot transfer attack. Furthermore, GateBreaker generalizes to five MoE vision language models (VLMs) with 60.9% ASR on unsafe image inputs.