GateBreaker: Poortgeleide aanvallen op Mixture-of-Expert LLM's

GateBreaker: Gate-Guided Attacks on Mixture-of-Expert LLMs

December 24, 2025

Auteurs: Lichao Wu, Sasha Behrouzi, Mohamadreza Rostami, Stjepan Picek, Ahmad-Reza Sadeghi

cs.AI

Samenvatting

Mixture-of-Experts (MoE)-architecturen hebben de schaalvergroting van Large Language Models (LLM's) gevorderd door slechts een spaarse subset van parameters per invoer te activeren, wat state-of-the-art prestaties mogelijk maakt tegen lagere computationele kosten. Omdat deze modellen steeds vaker worden ingezet in kritieke domeinen, is het begrijpen en versterken van hun alignatiemechanismen essentieel om schadelijke outputs te voorkomen. Bestaand veiligheidsonderzoek naar LLM's heeft zich echter bijna uitsluitend gericht op dichte architecturen, waardoor de unieke veiligheidseigenschappen van MoE's grotendeels ononderzoekcht zijn gebleven. Het modulaire, spaarzaam geactiveerde ontwerp van MoE's suggereert dat veiligheidsmechanismen mogelijk anders functioneren dan in dichte modellen, wat vragen oproept over hun robuustheid. In dit artikel presenteren we GateBreaker, het eerste trainingsvrije, lichtgewicht en architectuuronafhankelijke aanvalsframework dat de veiligheidsalignment van moderne MoE-LLM's tijdens de inferentiefase compromitteert. GateBreaker opereert in drie fasen: (i) gate-level profilering, waarbij safety-experts worden geïdentificeerd die onevenredig vaak worden geroeid op schadelijke invoer, (ii) expert-level lokalisatie, waarbij de veiligheidsstructuur binnen safety-experts wordt gelokaliseerd, en (iii) gerichte veiligheidsverwijdering, waarbij de geïdentificeerde veiligheidsstructuur wordt uitgeschakeld om de veiligheidsalignment te compromitteren. Onze studie toont aan dat MoE-veiligheid geconcentreerd is binnen een kleine subset van neuronen die gecoördineerd worden door spaarse routering. Selectief uitschakelen van deze neuronen, ongeveer 3% van de neuronen in de doelwit-expertlagen, verhoogt de gemiddelde aanvalssuccesratio (ASR) significant van 7,4% naar 64,9% bij de acht nieuwste gealigneerde MoE-LLM's, met beperkte achteruitgang in bruikbaarheid. Deze veiligheidsneuronen zijn overdraagbaar tussen modellen binnen dezelfde familie, waarbij een one-shot transferaanval de ASR verhoogt van 17,9% naar 67,7%. Bovendien generaliseert GateBreaker naar vijf MoE Vision Language Models (VLM's) met een ASR van 60,9% op onveilige beeldinvoer.

English

Mixture-of-Experts (MoE) architectures have advanced the scaling of Large Language Models (LLMs) by activating only a sparse subset of parameters per input, enabling state-of-the-art performance with reduced computational cost. As these models are increasingly deployed in critical domains, understanding and strengthening their alignment mechanisms is essential to prevent harmful outputs. However, existing LLM safety research has focused almost exclusively on dense architectures, leaving the unique safety properties of MoEs largely unexamined. The modular, sparsely-activated design of MoEs suggests that safety mechanisms may operate differently than in dense models, raising questions about their robustness. In this paper, we present GateBreaker, the first training-free, lightweight, and architecture-agnostic attack framework that compromises the safety alignment of modern MoE LLMs at inference time. GateBreaker operates in three stages: (i) gate-level profiling, which identifies safety experts disproportionately routed on harmful inputs, (ii) expert-level localization, which localizes the safety structure within safety experts, and (iii) targeted safety removal, which disables the identified safety structure to compromise the safety alignment. Our study shows that MoE safety concentrates within a small subset of neurons coordinated by sparse routing. Selective disabling of these neurons, approximately 3% of neurons in the targeted expert layers, significantly increases the averaged attack success rate (ASR) from 7.4% to 64.9% against the eight latest aligned MoE LLMs with limited utility degradation. These safety neurons transfer across models within the same family, raising ASR from 17.9% to 67.7% with one-shot transfer attack. Furthermore, GateBreaker generalizes to five MoE vision language models (VLMs) with 60.9% ASR on unsafe image inputs.