Guida dell'Attenzione Spettrale per l'Evidenziazione dei Prompt

Spectral Attention Steering for Prompt Highlighting

March 1, 2026

Autori: Weixian Waylon Li, Yuchen Niu, Yongxin Yang, Keshuang Li, Tiejun Ma, Shay B. Cohen

cs.AI

Abstract

Lo steering dell'attenzione è una tecnica importante per controllare il focus del modello, abilitando capacità come l'evidenziazione del prompt, in cui il modello dà priorità al testo specificato dall'utente. Tuttavia, i metodi esistenti di steering dell'attenzione richiedono la memorizzazione esplicita dell'intera matrice di attenzione, rendendoli incompatibili con implementazioni efficienti in termini di memoria come FlashAttention. Introduciamo l'Amplificazione delle Chiavi con Modifica Spettrale (SEKA), un metodo di steering senza addestramento che affronta questo problema modificando direttamente gli embedding delle chiavi prima del calcolo dell'attenzione. SEKA utilizza la scomposizione spettrale per orientare gli embedding delle chiavi verso direzioni latenti che amplificano i punteggi di attenzione per determinati token. Estendiamo questo concetto ad AdaSEKA (SEKA Adattativo), una variante adattiva alla query che utilizza un meccanismo di routing senza addestramento per combinare dinamicamente multiple sottospazi esperti in base all'intento semantico del prompt. I nostri esperimenti mostrano che entrambi i metodi superano significativamente baseline solide su benchmark standard di steering, aggiungendo al contempo una latenza e un sovraccarico di memoria molto inferiori, mantenendo la compatibilità con l'attenzione ottimizzata.

English

Attention steering is an important technique for controlling model focus, enabling capabilities such as prompt highlighting, where the model prioritises user-specified text. However, existing attention steering methods require explicit storage of the full attention matrix, making them incompatible with memory-efficient implementations like FlashAttention. We introduce Spectral Editing Key Amplification (SEKA), a training-free steering method that tackles this by directly editing key embeddings before attention computation. SEKA uses spectral decomposition to steer key embeddings towards latent directions that amplify attention scores for certain tokens. We extend this to Adaptive SEKA (AdaSEKA), a query-adaptive variant that uses a training-free routing mechanism to dynamically combine multiple expert subspaces based on the prompt's semantic intent. Our experiments show both methods significantly outperform strong baselines on standard steering benchmarks while adding much lower latency and memory overhead, in compatibility with optimised attention.