Atenção Sinks São Comprovadamente Necessárias em Transformers Softmax: Evidências de Tarefas Condicionadas por Triggers
Attention Sinks Are Provably Necessary in Softmax Transformers: Evidence from Trigger-Conditional Tasks
March 12, 2026
Autores: Yuval Ran-Milo
cs.AI
Resumo
Os transformadores frequentemente exibem um sumidouro de atenção: a massa de probabilidade se concentra em uma posição fixa e independente do conteúdo. Provamos que a computação de um comportamento simples condicionado a um gatilho necessariamente induz um sumidouro em modelos de autoatenção com softmax. Nossos resultados formalizam uma intuição familiar: a normalização sobre um simplex de probabilidade deve forçar a atenção a colapsar em uma âncora estável para realizar um estado padrão (por exemplo, quando o modelo precisa ignorar a entrada). Instanciamos isso com uma tarefa concreta: quando um token gatilho designado aparece, o modelo deve retornar a média de todas as representações de tokens precedentes e, caso contrário, deve gerar zero, uma tarefa que espelha a funcionalidade de cabeças de atenção em modelos reais (Barbero et al., 2025; Guo et al., 2024). Também provamos que a atenção com ReLU não normalizada pode resolver a mesma tarefa sem qualquer sumidouro, confirmando que a restrição de normalização é o motivador fundamental do comportamento de sumidouro. Experimentos validam nossas previsões e demonstram que elas se estendem além do cenário analisado teoricamente: modelos com softmax desenvolvem sumidouros fortes, enquanto a atenção com ReLU os elimina tanto em variantes de cabeça única quanto de múltiplas cabeças.
English
Transformers often display an attention sink: probability mass concentrates on a fixed, content-agnostic position. We prove that computing a simple trigger-conditional behavior necessarily induces a sink in softmax self-attention models. Our results formalize a familiar intuition: normalization over a probability simplex must force attention to collapse onto a stable anchor to realize a default state (e.g., when the model needs to ignore the input). We instantiate this with a concrete task: when a designated trigger token appears, the model must return the average of all preceding token representations, and otherwise output zero, a task which mirrors the functionality of attention heads in the wild (Barbero et al., 2025; Guo et al., 2024). We also prove that non-normalized ReLU attention can solve the same task without any sink, confirming that the normalization constraint is the fundamental driver of sink behavior. Experiments validate our predictions and demonstrate they extend beyond the theoretically analyzed setting: softmax models develop strong sinks while ReLU attention eliminates them in both single-head and multi-head variants.