プロンプト強調のためのスペクトル注意誘導

Spectral Attention Steering for Prompt Highlighting

March 1, 2026

著者: Weixian Waylon Li, Yuchen Niu, Yongxin Yang, Keshuang Li, Tiejun Ma, Shay B. Cohen

cs.AI

要旨

注意誘導（Attention Steering）は、プロンプト強調（ユーザー指定のテキストを優先的に処理する機能）などの能力を実現する、モデルの焦点を制御する重要な技術である。しかし、既存の注意誘導手法は完全な注意行列の明示的な保存を必要とするため、FlashAttentionのようなメモリ効率の良い実装と互換性がない。本研究では、この問題に対処するため、注意計算前にキー埋め込みを直接編集する学習不要の誘導手法であるSpectral Editing Key Amplification (SEKA) を提案する。SEKAはスペクトル分解を用いて、特定のトークンへの注意スコアを増幅する潜在方向へキー埋め込みを誘導する。さらにこれを発展させ、プロンプトの意味的意図に基づいて複数の専門家部分空間を動的に結合する学習不要のルーティング機構を用いた、クエリ適応型の変種であるAdaptive SEKA (AdaSEKA) を提案する。実験結果は、両手法が標準的な誘導ベンチマークにおいて強力なベースラインを大幅に上回りながら、最適化された注意機構と互換性を保ち、はるかに低いレイテンシとメモリオーバーヘッドしか加えないことを示している。

English

Attention steering is an important technique for controlling model focus, enabling capabilities such as prompt highlighting, where the model prioritises user-specified text. However, existing attention steering methods require explicit storage of the full attention matrix, making them incompatible with memory-efficient implementations like FlashAttention. We introduce Spectral Editing Key Amplification (SEKA), a training-free steering method that tackles this by directly editing key embeddings before attention computation. SEKA uses spectral decomposition to steer key embeddings towards latent directions that amplify attention scores for certain tokens. We extend this to Adaptive SEKA (AdaSEKA), a query-adaptive variant that uses a training-free routing mechanism to dynamically combine multiple expert subspaces based on the prompt's semantic intent. Our experiments show both methods significantly outperform strong baselines on standard steering benchmarks while adding much lower latency and memory overhead, in compatibility with optimised attention.