"Роковой скальпель: управление активациями подрывает безопасность языковых моделей"

The Rogue Scalpel: Activation Steering Compromises LLM Safety

September 26, 2025

Авторы: Anton Korznikov, Andrey Galichin, Alexey Dontsov, Oleg Y. Rogov, Ivan Oseledets, Elena Tutubalina

cs.AI

Аннотация

Управление активациями — это перспективная техника для контроля поведения больших языковых моделей (LLM) путем добавления семантически значимых векторов непосредственно в скрытые состояния модели во время вывода. Этот подход часто рассматривается как точная, интерпретируемая и потенциально более безопасная альтернатива тонкой настройке. Мы демонстрируем обратное: управление систематически нарушает защитные механизмы выравнивания модели, заставляя её выполнять вредоносные запросы. В ходе обширных экспериментов с различными семействами моделей мы показываем, что даже управление в случайном направлении может увеличить вероятность выполнения вредоносных запросов с 0% до 2–27%. Тревожно, что управление доброкачественными признаками из разреженного автокодировщика (SAE), часто используемого источника интерпретируемых направлений, увеличивает эти показатели ещё на 2–4%. Наконец, мы показываем, что комбинация 20 случайно выбранных векторов, которые обходят защиту для одного запроса, создаёт универсальную атаку, значительно увеличивая выполнение вредоносных запросов на неизвестных запросах. Эти результаты ставят под сомнение парадигму безопасности через интерпретируемость, демонстрируя, что точный контроль над внутренними механизмами модели не гарантирует точного контроля над её поведением.

English

Activation steering is a promising technique for controlling LLM behavior by adding semantically meaningful vectors directly into a model's hidden states during inference. It is often framed as a precise, interpretable, and potentially safer alternative to fine-tuning. We demonstrate the opposite: steering systematically breaks model alignment safeguards, making it comply with harmful requests. Through extensive experiments on different model families, we show that even steering in a random direction can increase the probability of harmful compliance from 0% to 2-27%. Alarmingly, steering benign features from a sparse autoencoder (SAE), a common source of interpretable directions, increases these rates by a further 2-4%. Finally, we show that combining 20 randomly sampled vectors that jailbreak a single prompt creates a universal attack, significantly increasing harmful compliance on unseen requests. These results challenge the paradigm of safety through interpretability, showing that precise control over model internals does not guarantee precise control over model behavior.