Pilotage de l'Attention Spectrale pour la Mise en Évidence des Invites

Spectral Attention Steering for Prompt Highlighting

March 1, 2026

Auteurs: Weixian Waylon Li, Yuchen Niu, Yongxin Yang, Keshuang Li, Tiejun Ma, Shay B. Cohen

cs.AI

Résumé

Le guidage de l'attention est une technique importante pour contrôler le focus des modèles, permettant des capacités telles que la mise en évidence d'instructions, où le modèle priorise le texte spécifié par l'utilisateur. Cependant, les méthodes existantes de guidage de l'attention nécessitent un stockage explicite de la matrice d'attention complète, les rendant incompatibles avec les implémentations optimisées en mémoire comme FlashAttention. Nous présentons l'Amplification Spectrale des Clés par Édition (SEKA), une méthode de guidage sans entraînement qui résout ce problème en modifiant directement les embeddings de clés avant le calcul de l'attention. SEKA utilise la décomposition spectrale pour orienter les embeddings de clés vers des directions latentes qui amplifient les scores d'attention pour certains tokens. Nous étendons cela à SEKA Adaptatif (AdaSEKA), une variante adaptative aux requêtes qui utilise un mécanisme de routage sans entraînement pour combiner dynamiquement plusieurs sous-espaces experts en fonction de l'intention sémantique de l'instruction. Nos expériences montrent que les deux méthodes surpassent significativement les bases de référence solides sur les benchmarks standards de guidage tout en ajoutant une latence et une surcharge mémoire bien inférieures, et en étant compatibles avec l'attention optimisée.

English

Attention steering is an important technique for controlling model focus, enabling capabilities such as prompt highlighting, where the model prioritises user-specified text. However, existing attention steering methods require explicit storage of the full attention matrix, making them incompatible with memory-efficient implementations like FlashAttention. We introduce Spectral Editing Key Amplification (SEKA), a training-free steering method that tackles this by directly editing key embeddings before attention computation. SEKA uses spectral decomposition to steer key embeddings towards latent directions that amplify attention scores for certain tokens. We extend this to Adaptive SEKA (AdaSEKA), a query-adaptive variant that uses a training-free routing mechanism to dynamically combine multiple expert subspaces based on the prompt's semantic intent. Our experiments show both methods significantly outperform strong baselines on standard steering benchmarks while adding much lower latency and memory overhead, in compatibility with optimised attention.