주의 집중 싱크는 소프트맥스 트랜스포머에서 필수적임: 트리거 조건부 작업을 통한 증거

Attention Sinks Are Provably Necessary in Softmax Transformers: Evidence from Trigger-Conditional Tasks

March 12, 2026

저자: Yuval Ran-Milo

cs.AI

초록

트랜스포머는 종종 어텐션 싱크(attention sink)를 보여줍니다. 즉, 확률 질량이 고정적이고 내용에 무관한(position) 위치에 집중되는 현상입니다. 우리는 간단한 트리거 조건부 동작을 계산하려면 소프트맥스(self-attention) 모델에서 반드시 싱크가 발생함을 증명합니다. 우리의 결과는 친숙한 직관을 형식화합니다: 확률 심플렉스(probability simplex)에 대한 정규화는 기본 상태(예: 모델이 입력을 무시해야 할 때)를 실현하기 위해 반드시 어텐션이 안정된 기준점(anchor)으로 붕괴되도록 강요해야 합니다. 우리는 이를 구체적인 과제로 예시합니다: 지정된 트리거 토큰이 나타나면 모델은 모든 선행 토큰 표현의 평균을 반환해야 하고, 그렇지 않으면 0을 출력해야 합니다. 이 과제는 실제 어텐션 헤드의 기능을 반영합니다 (Barbero et al., 2025; Guo et al., 2024). 우리는 또한 정규화되지 않은 ReLU 어텐션이 싱크 없이 동일한 과제를 해결할 수 있음을 증명하여, 싱크 행동의 근본적인 원인이 정규화 제약 조건임을 확인합니다. 실험을 통해 우리의 예측을 검증하고 이론적으로 분석된 설정을 넘어서도 적용됨을 입증합니다: 소프트맥스 모델은 강력한 싱크를 발생시키는 반면, ReLU 어텐션은 단일 헤드 및 다중 헤드 변형 모두에서 싱크를 제거합니다.

English

Transformers often display an attention sink: probability mass concentrates on a fixed, content-agnostic position. We prove that computing a simple trigger-conditional behavior necessarily induces a sink in softmax self-attention models. Our results formalize a familiar intuition: normalization over a probability simplex must force attention to collapse onto a stable anchor to realize a default state (e.g., when the model needs to ignore the input). We instantiate this with a concrete task: when a designated trigger token appears, the model must return the average of all preceding token representations, and otherwise output zero, a task which mirrors the functionality of attention heads in the wild (Barbero et al., 2025; Guo et al., 2024). We also prove that non-normalized ReLU attention can solve the same task without any sink, confirming that the normalization constraint is the fundamental driver of sink behavior. Experiments validate our predictions and demonstrate they extend beyond the theoretically analyzed setting: softmax models develop strong sinks while ReLU attention eliminates them in both single-head and multi-head variants.