Direcionamento Espectral da Atenção para Destaque de Prompts
Spectral Attention Steering for Prompt Highlighting
March 1, 2026
Autores: Weixian Waylon Li, Yuchen Niu, Yongxin Yang, Keshuang Li, Tiejun Ma, Shay B. Cohen
cs.AI
Resumo
A direção da atenção é uma técnica importante para controlar o foco do modelo, permitindo capacidades como o realce de instruções, onde o modelo prioriza texto especificado pelo utilizador. No entanto, os métodos existentes de direção da atenção requerem o armazenamento explícito da matriz de atenção completa, tornando-os incompatíveis com implementações eficientes em memória, como o FlashAttention. Introduzimos a Amplificação Espectral de Chaves por Edição (SEKA), um método de direção sem treinamento que aborda esta questão editando diretamente os *embeddings* de chave antes do cálculo da atenção. A SEKA utiliza decomposição espectral para direcionar os *embeddings* de chave para direções latentes que amplificam os escores de atenção para determinados *tokens*. Estendemos isto para a SEKA Adaptativa (AdaSEKA), uma variante adaptativa à consulta que utiliza um mecanismo de encaminhamento sem treinamento para combinar dinamicamente múltiplos subespaços de especialistas com base na intenção semântica do *prompt*. Nossos experimentos mostram que ambos os métodos superam significativamente baselines robustos em benchmarks padrão de direção, enquanto adicionam uma sobrecarga de latência e memória muito menor, mantendo a compatibilidade com a atenção otimizada.
English
Attention steering is an important technique for controlling model focus, enabling capabilities such as prompt highlighting, where the model prioritises user-specified text. However, existing attention steering methods require explicit storage of the full attention matrix, making them incompatible with memory-efficient implementations like FlashAttention. We introduce Spectral Editing Key Amplification (SEKA), a training-free steering method that tackles this by directly editing key embeddings before attention computation. SEKA uses spectral decomposition to steer key embeddings towards latent directions that amplify attention scores for certain tokens. We extend this to Adaptive SEKA (AdaSEKA), a query-adaptive variant that uses a training-free routing mechanism to dynamically combine multiple expert subspaces based on the prompt's semantic intent. Our experiments show both methods significantly outperform strong baselines on standard steering benchmarks while adding much lower latency and memory overhead, in compatibility with optimised attention.