Les Sinks d'Attention Sont Prouvés Nécessaires dans les Transformers Softmax : Preuves Issues des Tâches Conditionnelles par Déclencheur
Attention Sinks Are Provably Necessary in Softmax Transformers: Evidence from Trigger-Conditional Tasks
March 12, 2026
Auteurs: Yuval Ran-Milo
cs.AI
Résumé
Les transformateurs présentent souvent un phénomène de puits d'attention : la masse de probabilité se concentre sur une position fixe et agnostique au contenu. Nous démontrons que le calcul d'un comportement conditionnel à un déclencheur simple induit nécessairement un puits dans les modèles d'auto-attention à softmax. Nos résultats formalisent une intuition familière : la normalisation sur un simplexe de probabilité doit forcer l'attention à s'effondrer sur une ancre stable pour réaliser un état par défaut (par exemple, lorsque le modèle doit ignorer l'entrée). Nous illustrons cela par une tâche concrète : lorsqu'un jeton déclencheur désigné apparaît, le modèle doit renvoyer la moyenne de toutes les représentations de jetons précédents, et sinon produire un zéro, une tâche qui reflète le fonctionnement des têtes d'attention en situation réelle (Barbero et al., 2025 ; Guo et al., 2024). Nous prouvons également que l'attention ReLU non normalisée peut résoudre la même tâche sans aucun puits, confirmant que la contrainte de normalisation est le facteur fondamental du comportement de puits. Les expériences valident nos prédictions et montrent qu'elles s'étendent au-delà du cadre théoriquement analysé : les modèles softmax développent des puits prononcés tandis que l'attention ReLU les élimine dans les variantes à tête unique et à têtes multiples.
English
Transformers often display an attention sink: probability mass concentrates on a fixed, content-agnostic position. We prove that computing a simple trigger-conditional behavior necessarily induces a sink in softmax self-attention models. Our results formalize a familiar intuition: normalization over a probability simplex must force attention to collapse onto a stable anchor to realize a default state (e.g., when the model needs to ignore the input). We instantiate this with a concrete task: when a designated trigger token appears, the model must return the average of all preceding token representations, and otherwise output zero, a task which mirrors the functionality of attention heads in the wild (Barbero et al., 2025; Guo et al., 2024). We also prove that non-normalized ReLU attention can solve the same task without any sink, confirming that the normalization constraint is the fundamental driver of sink behavior. Experiments validate our predictions and demonstrate they extend beyond the theoretically analyzed setting: softmax models develop strong sinks while ReLU attention eliminates them in both single-head and multi-head variants.