Grote Taalmodel Lobotomie: Jailbreaking van Mixture-of-Experts via Expert-Uitschakeling
Large Language Lobotomy: Jailbreaking Mixture-of-Experts via Expert Silencing
February 9, 2026
Auteurs: Jona te Lintelo, Lichao Wu, Stjepan Picek
cs.AI
Samenvatting
De snelle adoptie van Mixture-of-Experts (MoE)-architecturen markeert een grote verschuiving in de inzet van Large Language Models (LLM's). MoE-LLM's verbeteren de schaalbaarheidsefficiëntie door slechts een kleine subset van parameters per token te activeren, maar hun routeringsstructuur introduceert nieuwe veiligheidsaanvalsoppervlakken. Wij constateren dat veiligheidskritisch gedrag in MoE-LLM's (bijv. weigering) geconcentreerd is in een kleine set experts in plaats van uniform verdeeld te zijn. Hierop voortbouwend stellen wij Large Language Lobotomy (L³) voor, een trainingsvrije, architectuuronafhankelijke aanval die de veiligheidsafstemming compromitteert door gebruik te maken van expertrouteringsdynamiek. L³ leert routeringspatronen die correleren met weigering, schrijft veiligheidsgedrag toe aan specifieke experts, en legt de meest veiligheidsrelevante experts adaptief het zwijgen op tot schadelijke outputs worden geproduceerd. Wij evalueren L³ op acht state-of-the-art open-source MoE-LLM's en tonen aan dat onze adaptieve expert-uitschakeling het gemiddelde aanvalssucces verhoogt van 7,3% naar 70,4%, oplopend tot 86,3%, waarmee eerdere trainingsvrije MoE-jailbreak-methoden worden overtroffen. Bovendien vereist het omzeilen van beveiligingsmaatregelen doorgaans het uitschakelen van minder dan 20% van de experts per laag, waarbij de algemene taalnut grotendeels behouden blijft. Deze resultaten onthullen een fundamentele spanning tussen efficiëntiegedreven MoE-ontwerp en robuuste veiligheidsafstemming, en motiveren het robuuster distribueren van veiligheidsmechanismen in toekomstige MoE-LLM's met architectuur- en routeringsbewuste methoden.
English
The rapid adoption of Mixture-of-Experts (MoE) architectures marks a major shift in the deployment of Large Language Models (LLMs). MoE LLMs improve scaling efficiency by activating only a small subset of parameters per token, but their routing structure introduces new safety attack surfaces. We find that safety-critical behaviors in MoE LLMs (e.g., refusal) are concentrated in a small set of experts rather than being uniformly distributed. Building on this, we propose Large Language Lobotomy (L^3), a training-free, architecture-agnostic attack that compromises safety alignment by exploiting expert routing dynamics. L^3 learns routing patterns that correlate with refusal, attributes safety behavior to specific experts, and adaptively silences the most safety-relevant experts until harmful outputs are produced. We evaluate L^3 on eight state-of-the-art open-source MoE LLMs and show that our adaptive expert silencing increases average attack success from 7.3% to 70.4%, reaching up to 86.3%, outperforming prior training-free MoE jailbreak methods. Moreover, bypassing guardrails typically requires silencing fewer than 20% of layer-wise experts while largely preserving general language utility. These results reveal a fundamental tension between efficiency-driven MoE design and robust safety alignment and motivate distributing safety mechanisms more robustly in future MoE LLMs with architecture- and routing-aware methods.