선별적 조향: 차별적 계층 선택을 통한 규범 보존 제어

Selective Steering: Norm-Preserving Control Through Discriminative Layer Selection

January 27, 2026

저자: Quy-Anh Dang, Chris Ngo

cs.AI

초록

정렬 기술의 상당한 발전에도 불구하고, 대규모 언어 모델(LLM)은 유해한 행동을 유발하는 적대적 공격에 취약한 상태로 남아 있습니다. 활성화 조종 기술은 추론 시점에 개입할 수 있는 유망한 접근법을 제공하지만, 기존 방법들은 중요한 한계를 지니고 있습니다: 활성화 덧셈은 신중한 계수 조정이 필요하며 계층별 노름 변동에 민감한 반면, 방향성 제거는 이진 제어만 제공합니다. 각도 조종에 대한 최근 연구는 2차원 부분공간에서의 회전을 통한 연속 제어를 도입했지만, 실제 구현에서는 노름 보존을 위반하여 분포 변화와 생성 붕괴를 초래하며, 특히 70억 개 미만의 매개변수를 가진 모델에서 이러한 현상이 두드러집니다. 본 논문에서는 이러한 한계를 해결하는 선택적 조종을 제안합니다. 이 방법은 두 가지 핵심 혁신을 통해 이루어집니다: (1) 활성화 분포 무결성을 유지하는 수학적으로 엄밀한 노름 보존 회전 공식화와 (2) 특징 표현이 반대 부호의 클래스 정렬을 보이는 계층에만 선택적으로 조종을 적용하는 판별적 계층 선택입니다. 9개 모델에 대한 실험 결과, 선택적 조종은 기존 방법보다 5.5배 높은 공격 성공률을 달성하면서도 퍼플렉서티 위반은 전혀 발생하지 않았으며 표준 벤치마크에서 약 100%의 능력 보존율을 보였습니다. 우리의 접근법은 통제 가능하고 안정적인 LLM 행동 수정을 위한 원칙적이고 효율적인 프레임워크를 제공합니다. 코드: https://github.com/knoveleng/steering

English

Despite significant progress in alignment, large language models (LLMs) remain vulnerable to adversarial attacks that elicit harmful behaviors. Activation steering techniques offer a promising inference-time intervention approach, but existing methods suffer from critical limitations: activation addition requires careful coefficient tuning and is sensitive to layer-specific norm variations, while directional ablation provides only binary control. Recent work on Angular Steering introduces continuous control via rotation in a 2D subspace, but its practical implementation violates norm preservation, causing distribution shift and generation collapse, particularly in models below 7B parameters. We propose Selective Steering, which addresses these limitations through two key innovations: (1) a mathematically rigorous norm-preserving rotation formulation that maintains activation distribution integrity, and (2) discriminative layer selection that applies steering only where feature representations exhibit opposite-signed class alignment. Experiments across nine models demonstrate that Selective Steering achieves 5.5x higher attack success rates than prior methods while maintaining zero perplexity violations and approximately 100\% capability retention on standard benchmarks. Our approach provides a principled, efficient framework for controllable and stable LLM behavior modification. Code: https://github.com/knoveleng/steering