GateBreaker: Attacchi Guidati dai Gate sui LLM a Mistura di Esperti
GateBreaker: Gate-Guided Attacks on Mixture-of-Expert LLMs
December 24, 2025
Autori: Lichao Wu, Sasha Behrouzi, Mohamadreza Rostami, Stjepan Picek, Ahmad-Reza Sadeghi
cs.AI
Abstract
Le architetture Mixture-of-Experts (MoE) hanno favorito il ridimensionamento dei Large Language Model (LLM) attivando solo un sottoinsieme sparso di parametri per input, consentendo prestazioni allo stato dell'arte con un costo computazionale ridotto. Poiché questi modelli sono sempre più impiegati in domini critici, comprendere e rafforzare i loro meccanismi di allineamento è essenziale per prevenire output dannosi. Tuttavia, la ricerca esistente sulla sicurezza degli LLM si è concentrata quasi esclusivamente su architetture dense, lasciando in gran parte inesaminate le proprietà di sicurezza uniche dei MoE. La progettazione modulare e ad attivazione sparsa dei MoE suggerisce che i meccanismi di sicurezza possano funzionare in modo diverso rispetto ai modelli densi, sollevando interrogativi sulla loro robustezza.
In questo articolo presentiamo GateBreaker, il primo framework di attacco *training-free*, leggero e indipendente dall'architettura che compromette l'allineamento di sicurezza dei moderni MoE LLM in fase di inferenza. GateBreaker opera in tre fasi: (i) *profiling a livello di gate*, che identifica gli esperti di sicurezza a cui vengono instradati in modo sproporzionato input dannosi, (ii) *localizzazione a livello di esperto*, che individua la struttura di sicurezza all'interno degli esperti di sicurezza, e (iii) *rimozione mirata della sicurezza*, che disabilita la struttura di sicurezza identificata per comprometterne l'allineamento. Il nostro studio mostra che la sicurezza nei MoE si concentra in un piccolo sottoinsieme di neuroni coordinato dall'instradamento sparso. La disabilitazione selettiva di questi neuroni, circa il 3% dei neuroni negli strati esperti target, aumenta significativamente il tasso di successo medio dell'attacco (ASR) dal 7,4% al 64,9% contro gli otto più recenti MoE LLM allineati, con una degradazione limitata dell'utilità. Questi neuroni di sicurezza sono trasferibili tra modelli della stessa famiglia, aumentando l'ASR dal 17,9% al 67,7% con un attacco di trasferimento one-shot. Inoltre, GateBreaker si generalizza a cinque MoE Vision Language Model (VLM), raggiungendo un ASR del 60,9% su input immagine non sicuri.
English
Mixture-of-Experts (MoE) architectures have advanced the scaling of Large Language Models (LLMs) by activating only a sparse subset of parameters per input, enabling state-of-the-art performance with reduced computational cost. As these models are increasingly deployed in critical domains, understanding and strengthening their alignment mechanisms is essential to prevent harmful outputs. However, existing LLM safety research has focused almost exclusively on dense architectures, leaving the unique safety properties of MoEs largely unexamined. The modular, sparsely-activated design of MoEs suggests that safety mechanisms may operate differently than in dense models, raising questions about their robustness.
In this paper, we present GateBreaker, the first training-free, lightweight, and architecture-agnostic attack framework that compromises the safety alignment of modern MoE LLMs at inference time. GateBreaker operates in three stages: (i) gate-level profiling, which identifies safety experts disproportionately routed on harmful inputs, (ii) expert-level localization, which localizes the safety structure within safety experts, and (iii) targeted safety removal, which disables the identified safety structure to compromise the safety alignment. Our study shows that MoE safety concentrates within a small subset of neurons coordinated by sparse routing. Selective disabling of these neurons, approximately 3% of neurons in the targeted expert layers, significantly increases the averaged attack success rate (ASR) from 7.4% to 64.9% against the eight latest aligned MoE LLMs with limited utility degradation. These safety neurons transfer across models within the same family, raising ASR from 17.9% to 67.7% with one-shot transfer attack. Furthermore, GateBreaker generalizes to five MoE vision language models (VLMs) with 60.9% ASR on unsafe image inputs.