프롬프트 강조를 위한 스펙트럴 어텐션 스티어링

초록

주의력 조향(attention steering)은 모델의 집중력을 제어하는 중요한 기술로, 프롬프트 하이라이트와 같은 기능을 가능하게 하여 모델이 사용자가 지정한 텍스트를 우선적으로 처리하도록 합니다. 그러나 기존의 주의력 조향 방법들은 전체 주의력 행렬을 명시적으로 저장해야 하므로 FlashAttention과 같은 메모리 효율적인 구현 방식과 호환되지 않습니다. 본 연구에서는 주의력 계산 전에 키 임베딩을 직접 편집하여 이 문제를 해결하는 학습이 필요 없는 조향 방법인 Spectral Editing Key Amplification(SEKA)을 소개합니다. SEKA는 스펙트럼 분해를 사용하여 키 임베딩을 특정 토큰에 대한 주의력 점수를 증폭시키는 잠재 방향으로 조정합니다. 이를 프롬프트의 의미적 의도에 기반하여 다수의 전문가 부분공간을 동적으로 결합하는 학습이 필요 없는 라우팅 메커니즘을 사용하는 쿼리 적응형 변형인 Adaptive SEKA(AdaSEKA)로 확장합니다. 실험 결과, 두 방법 모두 최적화된 주의력 기법과 호환되며 훨씬 낮은 지연 시간과 메모리 오버헤드를 추가하면서도 표준 조향 벤치마크에서 강력한 기준선들을 크게 능가하는 것으로 나타났습니다.

English

Attention steering is an important technique for controlling model focus, enabling capabilities such as prompt highlighting, where the model prioritises user-specified text. However, existing attention steering methods require explicit storage of the full attention matrix, making them incompatible with memory-efficient implementations like FlashAttention. We introduce Spectral Editing Key Amplification (SEKA), a training-free steering method that tackles this by directly editing key embeddings before attention computation. SEKA uses spectral decomposition to steer key embeddings towards latent directions that amplify attention scores for certain tokens. We extend this to Adaptive SEKA (AdaSEKA), a query-adaptive variant that uses a training-free routing mechanism to dynamically combine multiple expert subspaces based on the prompt's semantic intent. Our experiments show both methods significantly outperform strong baselines on standard steering benchmarks while adding much lower latency and memory overhead, in compatibility with optimised attention.

프롬프트 강조를 위한 스펙트럴 어텐션 스티어링

Spectral Attention Steering for Prompt Highlighting

초록

Support