Direccionamiento Espectral de la Atención para el Resaltado de Indicaciones
Spectral Attention Steering for Prompt Highlighting
March 1, 2026
Autores: Weixian Waylon Li, Yuchen Niu, Yongxin Yang, Keshuang Li, Tiejun Ma, Shay B. Cohen
cs.AI
Resumen
La dirección de la atención es una técnica importante para controlar el enfoque del modelo, permitiendo capacidades como el resaltado de indicaciones, donde el modelo prioriza el texto especificado por el usuario. Sin embargo, los métodos existentes de dirección de la atención requieren el almacenamiento explícito de la matriz de atención completa, lo que los hace incompatibles con implementaciones eficientes en memoria como FlashAttention. Introducimos la Amplificación Espectral de Claves por Edición (SEKA), un método de dirección que no requiere entrenamiento y que aborda este problema editando directamente los *embeddings* de clave antes del cálculo de la atención. SEKA utiliza la descomposición espectral para dirigir los *embeddings* de clave hacia direcciones latentes que amplifican las puntuaciones de atención para ciertos *tokens*. Extendemos esto a SEKA Adaptativo (AdaSEKA), una variante adaptable a la consulta que utiliza un mecanismo de enrutamiento sin entrenamiento para combinar dinámicamente múltiples subespacios expertos basándose en la intención semántica de la indicación. Nuestros experimentos muestran que ambos métodos superan significativamente a los baselines sólidos en benchmarks estándar de dirección, añadiendo una latencia y una sobrecarga de memoria mucho menores, siendo compatibles con la atención optimizada.
English
Attention steering is an important technique for controlling model focus, enabling capabilities such as prompt highlighting, where the model prioritises user-specified text. However, existing attention steering methods require explicit storage of the full attention matrix, making them incompatible with memory-efficient implementations like FlashAttention. We introduce Spectral Editing Key Amplification (SEKA), a training-free steering method that tackles this by directly editing key embeddings before attention computation. SEKA uses spectral decomposition to steer key embeddings towards latent directions that amplify attention scores for certain tokens. We extend this to Adaptive SEKA (AdaSEKA), a query-adaptive variant that uses a training-free routing mechanism to dynamically combine multiple expert subspaces based on the prompt's semantic intent. Our experiments show both methods significantly outperform strong baselines on standard steering benchmarks while adding much lower latency and memory overhead, in compatibility with optimised attention.