GateBreaker: 混合専門家LLMに対するゲート誘導型攻撃

要旨

Mixture-of-Experts（MoE）アーキテクチャは、入力ごとにパラメータの疎なサブセットのみを活性化することで、大規模言語モデル（LLM）のスケーリングを推進し、計算コストを抑えつつ最先端の性能を実現してきた。こうしたモデルが重要分野で展開されるにつれ、有害な出力を防ぐために、そのアライメントメカニズムを理解し強化することが不可欠となっている。しかし、既存のLLM安全性研究は密なアーキテクチャにほぼ独占的に焦点を当てており、MoEの特有の安全性特性はほとんど検証されていない。MoEのモジュール化された疎活性化設計は、安全性メカニズムが密モデルとは異なる動作をする可能性を示唆し、その堅牢性に疑問を投げかけている。本論文では、GateBreakerを提案する。これは、推論時に現代のMoE LLMの安全性アライメントを損なう、トレーニング不要の軽量かつアーキテクチャに依存しない初の攻撃フレームワークである。GateBreakerは3段階で動作する：(i) 有害な入力に対して不均衡にルーティングされる安全性エキスパートを特定するゲートレベルプロファイリング、(ii) 安全性エキスパート内の安全性構造を局所化するエキスパートレベル局所化、(iii) 特定された安全性構造を無効化して安全性アライメントを損なうターゲット安全性除去である。我々の研究は、MoEの安全性が疎ルーティングによって調整される少数のニューロンのサブセット内に集中していることを示す。対象エキスパート層のニューロンの約3%に相当するこれらのニューロンを選択的に無効化すると、最新のアライメント済みMoE LLM 8モデルに対する平均攻撃成功率（ASR）が7.4%から64.9%に大幅に上昇し、ユーティリティの低下は限定的であった。これらの安全性ニューロンは同一ファミリー内のモデル間で転移し、ワンショット転移攻撃によりASRを17.9%から67.7%に上昇させた。さらに、GateBreakerは5つのMoE視覚言語モデル（VLM）に一般化し、安全でない画像入力に対して60.9%のASRを達成した。

English

Mixture-of-Experts (MoE) architectures have advanced the scaling of Large Language Models (LLMs) by activating only a sparse subset of parameters per input, enabling state-of-the-art performance with reduced computational cost. As these models are increasingly deployed in critical domains, understanding and strengthening their alignment mechanisms is essential to prevent harmful outputs. However, existing LLM safety research has focused almost exclusively on dense architectures, leaving the unique safety properties of MoEs largely unexamined. The modular, sparsely-activated design of MoEs suggests that safety mechanisms may operate differently than in dense models, raising questions about their robustness. In this paper, we present GateBreaker, the first training-free, lightweight, and architecture-agnostic attack framework that compromises the safety alignment of modern MoE LLMs at inference time. GateBreaker operates in three stages: (i) gate-level profiling, which identifies safety experts disproportionately routed on harmful inputs, (ii) expert-level localization, which localizes the safety structure within safety experts, and (iii) targeted safety removal, which disables the identified safety structure to compromise the safety alignment. Our study shows that MoE safety concentrates within a small subset of neurons coordinated by sparse routing. Selective disabling of these neurons, approximately 3% of neurons in the targeted expert layers, significantly increases the averaged attack success rate (ASR) from 7.4% to 64.9% against the eight latest aligned MoE LLMs with limited utility degradation. These safety neurons transfer across models within the same family, raising ASR from 17.9% to 67.7% with one-shot transfer attack. Furthermore, GateBreaker generalizes to five MoE vision language models (VLMs) with 60.9% ASR on unsafe image inputs.

GateBreaker: 混合専門家LLMに対するゲート誘導型攻撃

GateBreaker: Gate-Guided Attacks on Mixture-of-Expert LLMs

要旨

Support