Aufmerksamkeitssenken sind nachweislich notwendig in Softmax-Transformern: Belege aus triggerbedingten Aufgaben
Attention Sinks Are Provably Necessary in Softmax Transformers: Evidence from Trigger-Conditional Tasks
March 12, 2026
Autoren: Yuval Ran-Milo
cs.AI
Zusammenfassung
Transformer zeigen häufig ein Aufmerksamkeits-Phänomen, bei dem sich die Wahrscheinlichkeitsmasse auf eine feste, inhaltsunabhängige Position konzentriert. Wir beweisen, dass die Berechnung eines einfachen trigger-konditionierten Verhaltens zwangsläufig ein solches Phänomen in Softmax-Self-Attention-Modellen hervorruft. Unsere Ergebnisse formalisieren eine geläufige Intuition: Die Normalisierung über einen Wahrscheinlichkeitssimplex muss die Aufmerksamkeit zwingen, sich auf einen stabilen Ankerpunkt zusammenzuziehen, um einen Standardzustand zu realisieren (z.B. wenn das Modell den Input ignorieren muss). Wir konkretisieren dies anhand einer Aufgabe: Wenn ein bestimmter Trigger-Token erscheint, muss das Modell den Durchschnitt aller vorherigen Token-Repräsentationen zurückgeben, andernfalls soll es Null ausgeben – eine Aufgabe, die die Funktionsweise von Aufmerksamkeits-Head in der Praxis widerspiegelt (Barbero et al., 2025; Guo et al., 2024). Wir beweisen ebenfalls, dass nicht-normalisierte ReLU-Attention dieselbe Aufgabe ohne ein solches Phänomen lösen kann, was bestätigt, dass die Normalisierungsbedingung die grundlegende Ursache für das Verhalten ist. Experimente validieren unsere Vorhersagen und zeigen, dass diese über das theoretisch analysierte Szenario hinausgehen: Softmax-Modelle entwickeln starke Phänomene, während ReLU-Attention diese sowohl in Einzel-Head- als auch Multi-Head-Varianten beseitigt.
English
Transformers often display an attention sink: probability mass concentrates on a fixed, content-agnostic position. We prove that computing a simple trigger-conditional behavior necessarily induces a sink in softmax self-attention models. Our results formalize a familiar intuition: normalization over a probability simplex must force attention to collapse onto a stable anchor to realize a default state (e.g., when the model needs to ignore the input). We instantiate this with a concrete task: when a designated trigger token appears, the model must return the average of all preceding token representations, and otherwise output zero, a task which mirrors the functionality of attention heads in the wild (Barbero et al., 2025; Guo et al., 2024). We also prove that non-normalized ReLU attention can solve the same task without any sink, confirming that the normalization constraint is the fundamental driver of sink behavior. Experiments validate our predictions and demonstrate they extend beyond the theoretically analyzed setting: softmax models develop strong sinks while ReLU attention eliminates them in both single-head and multi-head variants.