Direccionamiento Selectivo: Control Preservador de Normas Mediante Selección Discriminatoria de Capas

Selective Steering: Norm-Preserving Control Through Discriminative Layer Selection

January 27, 2026

Autores: Quy-Anh Dang, Chris Ngo

cs.AI

Resumen

A pesar de los avances significativos en la alineación, los modelos de lenguaje grandes (LLM) siguen siendo vulnerables a ataques adversarios que provocan comportamientos nocivos. Las técnicas de direccionamiento de activaciones ofrecen un enfoque prometedor de intervención en tiempo de inferencia, pero los métodos existentes adolecen de limitaciones críticas: la adición de activaciones requiere un ajuste cuidadoso de coeficientes y es sensible a las variaciones de norma específicas de cada capa, mientras que la ablación direccional proporciona solo un control binario. Trabajos recientes sobre Direccionamiento Angular introducen control continuo mediante rotación en un subespacio 2D, pero su implementación práctica viola la preservación de la norma, causando desplazamiento de la distribución y colapso en la generación, particularmente en modelos con menos de 7B de parámetros. Proponemos el Direccionamiento Selectivo, que aborda estas limitaciones mediante dos innovaciones clave: (1) una formulación de rotación matemáticamente rigurosa que preserva la norma y mantiene la integridad de la distribución de activaciones, y (2) una selección discriminativa de capas que aplica el direccionamiento solo donde las representaciones de características muestran una alineación de clase con signos opuestos. Los experimentos en nueve modelos demuestran que el Direccionamiento Selectivo logra tasas de éxito de ataque 5.5 veces superiores a los métodos anteriores, manteniendo cero violaciones de perplejidad y aproximadamente un 100% de retención de capacidades en benchmarks estándar. Nuestro enfoque proporciona un marco eficiente y fundamentado para la modificación del comportamiento de LLMs de manera controlable y estable. Código: https://github.com/knoveleng/steering

English

Despite significant progress in alignment, large language models (LLMs) remain vulnerable to adversarial attacks that elicit harmful behaviors. Activation steering techniques offer a promising inference-time intervention approach, but existing methods suffer from critical limitations: activation addition requires careful coefficient tuning and is sensitive to layer-specific norm variations, while directional ablation provides only binary control. Recent work on Angular Steering introduces continuous control via rotation in a 2D subspace, but its practical implementation violates norm preservation, causing distribution shift and generation collapse, particularly in models below 7B parameters. We propose Selective Steering, which addresses these limitations through two key innovations: (1) a mathematically rigorous norm-preserving rotation formulation that maintains activation distribution integrity, and (2) discriminative layer selection that applies steering only where feature representations exhibit opposite-signed class alignment. Experiments across nine models demonstrate that Selective Steering achieves 5.5x higher attack success rates than prior methods while maintaining zero perplexity violations and approximately 100\% capability retention on standard benchmarks. Our approach provides a principled, efficient framework for controllable and stable LLM behavior modification. Code: https://github.com/knoveleng/steering