Aandachtsputten zijn bewezen noodzakelijk in Softmax Transformers: Bewijs vanuit trigger-conditionele taken
Attention Sinks Are Provably Necessary in Softmax Transformers: Evidence from Trigger-Conditional Tasks
March 12, 2026
Auteurs: Yuval Ran-Milo
cs.AI
Samenvatting
Transformers vertonen vaak een aandachtspunt: waarschijnlijkheidsmassa concentreert zich op een vaste, inhoudsonafhankelijke positie. Wij bewijzen dat het berekenen van een eenvoudige trigger-conditionele gedraging noodzakelijkerwijs een dergelijk punt induceert in softmax zelf-attentiemodellen. Onze resultaten formaliseren een bekende intuïtie: normalisatie over een waarschijnlijkheidssimplex moet de aandacht dwingen in te storten op een stabiel anker om een standaardtoestand te realiseren (bijvoorbeeld wanneer het model de input moet negeren). Wij concretiseren dit met een specifieke taak: wanneer een aangewezen triggertoken verschijnt, moet het model het gemiddelde retourneren van alle voorafgaande tokenrepresentaties, en anders nul uitvoeren – een taak die de functionaliteit van aandachtskoppen in de praktijk weerspiegelt (Barbero et al., 2025; Guo et al., 2024). Wij bewijzen tevens dat genormaliseerde ReLU-attentie dezelfde taak kan oplossen zonder enig aandachtspunt, wat bevestigt dat de normalisatierestrictie de fundamentele drijver is van dit gedrag. Experimenten valideren onze voorspellingen en tonen aan dat deze zich uitstrekken buiten de theoretisch geanalyseerde setting: softmaxmodellen ontwikkelen sterke aandachtspunten, terwijl ReLU-attentie deze elimineert in zowel enkelvoudige als meervoudige varianten.
English
Transformers often display an attention sink: probability mass concentrates on a fixed, content-agnostic position. We prove that computing a simple trigger-conditional behavior necessarily induces a sink in softmax self-attention models. Our results formalize a familiar intuition: normalization over a probability simplex must force attention to collapse onto a stable anchor to realize a default state (e.g., when the model needs to ignore the input). We instantiate this with a concrete task: when a designated trigger token appears, the model must return the average of all preceding token representations, and otherwise output zero, a task which mirrors the functionality of attention heads in the wild (Barbero et al., 2025; Guo et al., 2024). We also prove that non-normalized ReLU attention can solve the same task without any sink, confirming that the normalization constraint is the fundamental driver of sink behavior. Experiments validate our predictions and demonstrate they extend beyond the theoretically analyzed setting: softmax models develop strong sinks while ReLU attention eliminates them in both single-head and multi-head variants.