Der Rogue Scalpel: Aktivierungssteuerung gefährdet die Sicherheit von LLMs

The Rogue Scalpel: Activation Steering Compromises LLM Safety

September 26, 2025

papers.authors: Anton Korznikov, Andrey Galichin, Alexey Dontsov, Oleg Y. Rogov, Ivan Oseledets, Elena Tutubalina

cs.AI

papers.abstract

Aktivierungssteuerung ist eine vielversprechende Technik zur Kontrolle des Verhaltens von LLMs, bei der semantisch bedeutungsvolle Vektoren direkt in die verborgenen Zustände eines Modells während der Inferenz eingefügt werden. Sie wird oft als präzise, interpretierbare und potenziell sicherere Alternative zum Fine-Tuning betrachtet. Wir zeigen das Gegenteil: Die Steuerung untergräbt systematisch die Sicherheitsvorkehrungen der Modellausrichtung und führt dazu, dass das Modell schädliche Anfragen erfüllt. Durch umfangreiche Experimente mit verschiedenen Modellfamilien demonstrieren wir, dass selbst die Steuerung in eine zufällige Richtung die Wahrscheinlichkeit schädlicher Compliance von 0 % auf 2–27 % erhöhen kann. Besorgniserregend ist, dass die Steuerung benigner Merkmale aus einem sparsamen Autoencoder (SAE), einer häufigen Quelle interpretierbarer Richtungen, diese Raten um weitere 2–4 % steigert. Schließlich zeigen wir, dass die Kombination von 20 zufällig ausgewählten Vektoren, die eine einzelne Eingabeaufforderung „jailbreaken“, einen universellen Angriff erzeugt, der die schädliche Compliance bei unbekannten Anfragen signifikant erhöht. Diese Ergebnisse stellen das Paradigma der Sicherheit durch Interpretierbarkeit in Frage und zeigen, dass präzise Kontrolle über die internen Modellzustände keine präzise Kontrolle über das Modellverhalten garantiert.

English

Activation steering is a promising technique for controlling LLM behavior by adding semantically meaningful vectors directly into a model's hidden states during inference. It is often framed as a precise, interpretable, and potentially safer alternative to fine-tuning. We demonstrate the opposite: steering systematically breaks model alignment safeguards, making it comply with harmful requests. Through extensive experiments on different model families, we show that even steering in a random direction can increase the probability of harmful compliance from 0% to 2-27%. Alarmingly, steering benign features from a sparse autoencoder (SAE), a common source of interpretable directions, increases these rates by a further 2-4%. Finally, we show that combining 20 randomly sampled vectors that jailbreak a single prompt creates a universal attack, significantly increasing harmful compliance on unseen requests. These results challenge the paradigm of safety through interpretability, showing that precise control over model internals does not guarantee precise control over model behavior.