Селективное управление: сохранение норм через дискриминативный выбор слоев

Selective Steering: Norm-Preserving Control Through Discriminative Layer Selection

January 27, 2026

Авторы: Quy-Anh Dang, Chris Ngo

cs.AI

Аннотация

Несмотря на значительный прогресс в области согласования, большие языковые модели (БЯМ) остаются уязвимыми к состязательным атакам, которые провоцируют вредоносное поведение. Методы управления активациями предлагают перспективный подход к вмешательству на этапе вывода, но существующие методы имеют серьезные ограничения: добавление активаций требует тщательного подбора коэффициентов и чувствительно к вариациям норм по слоям, в то время как направленное абляционирование обеспечивает лишь бинарный контроль. Недавняя работа по угловому управлению вводит непрерывный контроль посредством вращения в 2D-подпространстве, но её практическая реализация нарушает сохранение нормы, вызывая сдвиг распределения и коллапс генерации, особенно в моделях с менее чем 7 миллиардами параметров. Мы предлагаем метод селективного управления, который устраняет эти ограничения за счет двух ключевых инноваций: (1) математически строгой формулировки сохраняющего норму вращения, которое поддерживает целостность распределения активаций, и (2) дискриминативного выбора слоев, применяющего управление только там, где представления признаков демонстрируют выравнивание классов с противоположными знаками. Эксперименты на девяти моделях показывают, что селективное управление достигает в 5,5 раз более высоких показателей успешности атак по сравнению с предыдущими методами, сохраняя нулевое количество нарушений перплексии и приблизительно 100% сохранение способностей на стандартных тестах. Наш подход обеспечивает принципиальную и эффективную основу для контролируемого и стабильного изменения поведения БЯМ. Код: https://github.com/knoveleng/steering

English

Despite significant progress in alignment, large language models (LLMs) remain vulnerable to adversarial attacks that elicit harmful behaviors. Activation steering techniques offer a promising inference-time intervention approach, but existing methods suffer from critical limitations: activation addition requires careful coefficient tuning and is sensitive to layer-specific norm variations, while directional ablation provides only binary control. Recent work on Angular Steering introduces continuous control via rotation in a 2D subspace, but its practical implementation violates norm preservation, causing distribution shift and generation collapse, particularly in models below 7B parameters. We propose Selective Steering, which addresses these limitations through two key innovations: (1) a mathematically rigorous norm-preserving rotation formulation that maintains activation distribution integrity, and (2) discriminative layer selection that applies steering only where feature representations exhibit opposite-signed class alignment. Experiments across nine models demonstrate that Selective Steering achieves 5.5x higher attack success rates than prior methods while maintaining zero perplexity violations and approximately 100\% capability retention on standard benchmarks. Our approach provides a principled, efficient framework for controllable and stable LLM behavior modification. Code: https://github.com/knoveleng/steering