Selectieve Sturing: Norm-Behoudende Regeling Door Discriminatieve Laagselectie

Selective Steering: Norm-Preserving Control Through Discriminative Layer Selection

January 27, 2026

Auteurs: Quy-Anh Dang, Chris Ngo

cs.AI

Samenvatting

Ondanks aanzienlijke vooruitgang in alignment blijven grote taalmmodellen (LLM's) kwetsbaar voor adversariële aanvallen die schadelijk gedrag uitlokken. Activatiesturingstechnieken bieden een veelbelovende interventiebenadering tijdens inferentie, maar bestaande methoden kampen met kritieke beperkingen: activatietoevoeging vereist zorgvuldige afstemming van coëfficiënten en is gevoelig voor laagspecifieke normvariaties, terwijl directionele ablatie slechts binaire controle biedt. Recent werk over Angulaire Sturing introduceert continue controle via rotatie in een 2D-deelruimte, maar de praktische implementatie ervan schendt normbehoud, wat distributieverschuiving en generatiecollaps veroorzaakt, met name in modellen onder de 7B parameters. Wij stellen Selectieve Sturing voor, dat deze beperkingen aanpakt via twee belangrijke innovaties: (1) een wiskundig rigoureuze, normbehoudende rotatieformulering die de integriteit van de activatiedistributie handhaaft, en (2) discriminerende laagselectie die sturing alleen toepast waar feature-representaties tegenovergestelde klassalignering vertonen. Experimenten met negen modellen tonen aan dat Selectieve Sturing 5,5x hogere aanvalssuccespercentages bereikt dan eerdere methoden, terwijl het nul perplexiteitsschendingen handhaaft en ongeveer 100% capaciteitsbehoud op standaard benchmarks. Onze benadering biedt een principieel, efficiënt kader voor controleerbare en stabiele gedragsmodificatie van LLM's. Code: https://github.com/knoveleng/steering

English

Despite significant progress in alignment, large language models (LLMs) remain vulnerable to adversarial attacks that elicit harmful behaviors. Activation steering techniques offer a promising inference-time intervention approach, but existing methods suffer from critical limitations: activation addition requires careful coefficient tuning and is sensitive to layer-specific norm variations, while directional ablation provides only binary control. Recent work on Angular Steering introduces continuous control via rotation in a 2D subspace, but its practical implementation violates norm preservation, causing distribution shift and generation collapse, particularly in models below 7B parameters. We propose Selective Steering, which addresses these limitations through two key innovations: (1) a mathematically rigorous norm-preserving rotation formulation that maintains activation distribution integrity, and (2) discriminative layer selection that applies steering only where feature representations exhibit opposite-signed class alignment. Experiments across nine models demonstrate that Selective Steering achieves 5.5x higher attack success rates than prior methods while maintaining zero perplexity violations and approximately 100\% capability retention on standard benchmarks. Our approach provides a principled, efficient framework for controllable and stable LLM behavior modification. Code: https://github.com/knoveleng/steering