I Sink di Attenzione Sono Provabilmente Necessari nei Trasformatori Softmax: Evidenza da Compiti Trigger-Condizionali

Attention Sinks Are Provably Necessary in Softmax Transformers: Evidence from Trigger-Conditional Tasks

March 12, 2026

Autori: Yuval Ran-Milo

cs.AI

Abstract

I trasformatori spesso mostrano un pozzo di attenzione (attention sink): la massa di probabilità si concentra su una posizione fissa e indipendente dal contenuto. Dimostriamo che il calcolo di un semplice comportamento condizionato da un trigger induce necessariamente un pozzo nei modelli di self-attention con softmax. I nostri risultati formalizzano un'intuizione familiare: la normalizzazione su un simplesso di probabilità deve forzare l'attenzione a collassare su un'ancora stabile per realizzare uno stato predefinito (ad esempio, quando il modello deve ignorare l'input). Istanziamo questo concetto con un compito concreto: quando appare un token trigger designato, il modello deve restituire la media di tutte le rappresentazioni dei token precedenti, e in caso contrario deve emettere zero, un compito che rispecchia la funzionalità delle teste di attenzione nel mondo reale (Barbero et al., 2025; Guo et al., 2024). Dimostriamo anche che un'attenzione ReLU non normalizzata può risolvere lo stesso compito senza alcun pozzo, confermando che il vincolo di normalizzazione è il fattore fondamentale alla base del comportamento a pozzo. Gli esperimenti convalidano le nostre previsioni e dimostrano che si estendono oltre l'ambito analizzato teoricamente: i modelli softmax sviluppano pozzi marcati, mentre l'attenzione ReLU li elimina sia nelle varianti a testa singola che a teste multiple.

English

Transformers often display an attention sink: probability mass concentrates on a fixed, content-agnostic position. We prove that computing a simple trigger-conditional behavior necessarily induces a sink in softmax self-attention models. Our results formalize a familiar intuition: normalization over a probability simplex must force attention to collapse onto a stable anchor to realize a default state (e.g., when the model needs to ignore the input). We instantiate this with a concrete task: when a designated trigger token appears, the model must return the average of all preceding token representations, and otherwise output zero, a task which mirrors the functionality of attention heads in the wild (Barbero et al., 2025; Guo et al., 2024). We also prove that non-normalized ReLU attention can solve the same task without any sink, confirming that the normalization constraint is the fundamental driver of sink behavior. Experiments validate our predictions and demonstrate they extend beyond the theoretically analyzed setting: softmax models develop strong sinks while ReLU attention eliminates them in both single-head and multi-head variants.