Спектральное управление вниманием для выделения ключевых элементов в промптах

Spectral Attention Steering for Prompt Highlighting

March 1, 2026

Авторы: Weixian Waylon Li, Yuchen Niu, Yongxin Yang, Keshuang Li, Tiejun Ma, Shay B. Cohen

cs.AI

Аннотация

Управление вниманием (attention steering) — важная техника для контроля фокуса модели, позволяющая реализовать такие возможности, как выделение ключевых частей запроса, когда модель отдает приоритет тексту, указанному пользователем. Однако существующие методы управления вниманием требуют явного хранения полной матрицы внимания, что делает их несовместимыми с оптимизированными по памяти реализациями, такими как FlashAttention. Мы представляем Spectral Editing Key Amplification (SEKA), метод управления без дообучения, который решает эту проблему путем прямого редактирования ключевых эмбеддингов (key embeddings) до вычисления внимания. SEKA использует спектральное разложение, чтобы направлять ключевые эмбеддинги в латентные направления, которые усиливают оценки внимания для определенных токенов. Мы расширяем этот подход до Adaptive SEKA (AdaSEKA), адаптивного к запросу варианта, который использует механизм маршрутизации без обучения для динамического комбинирования нескольких экспертных подпространств на основе семантического содержания промпта. Наши эксперименты показывают, что оба метода значительно превосходят сильные базовые линии на стандартных бенчмарках управления вниманием, добавляя при этом значительно меньшие задержки и нагрузку на память, оставаясь совместимыми с оптимизированными механизмами внимания.

English

Attention steering is an important technique for controlling model focus, enabling capabilities such as prompt highlighting, where the model prioritises user-specified text. However, existing attention steering methods require explicit storage of the full attention matrix, making them incompatible with memory-efficient implementations like FlashAttention. We introduce Spectral Editing Key Amplification (SEKA), a training-free steering method that tackles this by directly editing key embeddings before attention computation. SEKA uses spectral decomposition to steer key embeddings towards latent directions that amplify attention scores for certain tokens. We extend this to Adaptive SEKA (AdaSEKA), a query-adaptive variant that uses a training-free routing mechanism to dynamically combine multiple expert subspaces based on the prompt's semantic intent. Our experiments show both methods significantly outperform strong baselines on standard steering benchmarks while adding much lower latency and memory overhead, in compatibility with optimised attention.