GateBreaker: Атаки на основе гейтов для LLM с архитектурой Mixture-of-Experts
GateBreaker: Gate-Guided Attacks on Mixture-of-Expert LLMs
December 24, 2025
Авторы: Lichao Wu, Sasha Behrouzi, Mohamadreza Rostami, Stjepan Picek, Ahmad-Reza Sadeghi
cs.AI
Аннотация
Архитектуры смеси экспертов (MoE) позволили масштабировать большие языковые модели (LLM) за счет активации лишь разреженного подмножества параметров на каждый вход, что обеспечило передовую производительность при сниженных вычислительных затратах. По мере того как эти модели все чаще применяются в критически важных областях, понимание и усиление механизмов их согласования (alignment) становится необходимым для предотвращения вредоносных выходных данных. Однако существующие исследования безопасности LLM почти исключительно сфокусированы на плотных (dense) архитектурах, оставляя уникальные свойства безопасности MoE-моделей в значительной степени неисследованными. Модульный, разреженно-активируемый дизайн MoE позволяет предположить, что механизмы безопасности могут работать иначе, чем в плотных моделях, что ставит вопросы об их устойчивости.
В данной статье мы представляем GateBreaker — первую бесплатную, легковесную и не зависящую от архитектуры атакующую систему, которая нарушает безопасное согласование современных MoE LLM на этапе вывода. GateBreaker работает в три этапа: (i) профилирование на уровне гейтов, которое выявляет экспертов по безопасности, непропорционально часто направляемых на вредоносные входные данные; (ii) локализация на уровне экспертов, которая определяет структуру безопасности внутри экспертов по безопасности; и (iii) целевое удаление безопасности, которое отключает выявленную структуру для нарушения безопасного согласования. Наше исследование показывает, что безопасность MoE концентрируется в небольшом подмножестве нейронов, координируемых разреженной маршрутизацией. Селективное отключение этих нейронов, составляющих примерно 3% нейронов в целевых экспертных слоях, значительно увеличивает средний показатель успешности атаки (ASR) с 7,4% до 64,9% для восьми новейших согласованных MoE LLM при незначительной деградации полезности. Эти нейроны безопасности переносятся между моделями внутри одного семейства, повышая ASR с 17,9% до 67,7% при однослойной трансферной атаке. Более того, GateBreaker обобщается на пять MoE моделей визуального языка (VLM) с показателем ASR 60,9% на небезопасных изображениях.
English
Mixture-of-Experts (MoE) architectures have advanced the scaling of Large Language Models (LLMs) by activating only a sparse subset of parameters per input, enabling state-of-the-art performance with reduced computational cost. As these models are increasingly deployed in critical domains, understanding and strengthening their alignment mechanisms is essential to prevent harmful outputs. However, existing LLM safety research has focused almost exclusively on dense architectures, leaving the unique safety properties of MoEs largely unexamined. The modular, sparsely-activated design of MoEs suggests that safety mechanisms may operate differently than in dense models, raising questions about their robustness.
In this paper, we present GateBreaker, the first training-free, lightweight, and architecture-agnostic attack framework that compromises the safety alignment of modern MoE LLMs at inference time. GateBreaker operates in three stages: (i) gate-level profiling, which identifies safety experts disproportionately routed on harmful inputs, (ii) expert-level localization, which localizes the safety structure within safety experts, and (iii) targeted safety removal, which disables the identified safety structure to compromise the safety alignment. Our study shows that MoE safety concentrates within a small subset of neurons coordinated by sparse routing. Selective disabling of these neurons, approximately 3% of neurons in the targeted expert layers, significantly increases the averaged attack success rate (ASR) from 7.4% to 64.9% against the eight latest aligned MoE LLMs with limited utility degradation. These safety neurons transfer across models within the same family, raising ASR from 17.9% to 67.7% with one-shot transfer attack. Furthermore, GateBreaker generalizes to five MoE vision language models (VLMs) with 60.9% ASR on unsafe image inputs.