De Rogue Scalpel: Activatiesturing Ondermijnt Veiligheid van Taalmodellen

The Rogue Scalpel: Activation Steering Compromises LLM Safety

September 26, 2025

Auteurs: Anton Korznikov, Andrey Galichin, Alexey Dontsov, Oleg Y. Rogov, Ivan Oseledets, Elena Tutubalina

cs.AI

Samenvatting

Activatiesturing is een veelbelovende techniek voor het beheersen van LLM-gedrag door semantisch betekenisvolle vectoren direct toe te voegen aan de verborgen toestanden van een model tijdens inferentie. Het wordt vaak gezien als een precieze, interpreteerbare en potentieel veiligere alternatief voor fine-tuning. Wij tonen het tegenovergestelde aan: sturing breekt systematisch de veiligheidsmaatregelen van modelalignment, waardoor het schadelijke verzoeken gaat uitvoeren. Door uitgebreide experimenten op verschillende modelfamilies laten we zien dat zelfs sturing in een willekeurige richting de kans op schadelijke naleving kan verhogen van 0% naar 2-27%. Verontrustend is dat het sturen van goedaardige kenmerken vanuit een sparse autoencoder (SAE), een veelgebruikte bron van interpreteerbare richtingen, deze percentages verder verhoogt met 2-4%. Tot slot tonen we aan dat het combineren van 20 willekeurig gesampelde vectoren die een enkele prompt jailbreken, een universele aanval creëert die de schadelijke naleving op ongeziene verzoeken aanzienlijk verhoogt. Deze resultaten dagen het paradigma van veiligheid door interpreteerbaarheid uit, en laten zien dat precieze controle over modelinterne processen geen garantie biedt voor precieze controle over modelgedrag.

English

Activation steering is a promising technique for controlling LLM behavior by adding semantically meaningful vectors directly into a model's hidden states during inference. It is often framed as a precise, interpretable, and potentially safer alternative to fine-tuning. We demonstrate the opposite: steering systematically breaks model alignment safeguards, making it comply with harmful requests. Through extensive experiments on different model families, we show that even steering in a random direction can increase the probability of harmful compliance from 0% to 2-27%. Alarmingly, steering benign features from a sparse autoencoder (SAE), a common source of interpretable directions, increases these rates by a further 2-4%. Finally, we show that combining 20 randomly sampled vectors that jailbreak a single prompt creates a universal attack, significantly increasing harmful compliance on unseen requests. These results challenge the paradigm of safety through interpretability, showing that precise control over model internals does not guarantee precise control over model behavior.