Внимание как поглотитель является необходимым в трансформерах с Softmax: доказательство на основе триггерно-условных задач

Attention Sinks Are Provably Necessary in Softmax Transformers: Evidence from Trigger-Conditional Tasks

March 12, 2026

Авторы: Yuval Ran-Milo

cs.AI

Аннотация

Трансформеры часто демонстрируют феномен "аттеншн-синка" (притяжателя внимания): вероятностная масса концентрируется на фиксированной, не зависящей от контента позиции. Мы доказываем, что вычисление простого поведения, условленного по триггеру, необходимо порождает синк в моделях с self-attention на основе softmax. Наши результаты формализуют распространённую интуицию: нормализация над вероятностным симплексом вынуждает внимание коллапсировать на стабильный якорь для реализации состояния по умолчанию (например, когда модель должна проигнорировать вход). Мы конкретизируем это на примере задачи: при появлении заданного токена-триггера модель должна возвращать среднее всех предыдущих токенных представлений, а в противном случае выводить ноль — задача, которая отражает функциональность голов внимания в реальных моделях (Barbero et al., 2025; Guo et al., 2024). Мы также доказываем, что ненормализованное внимание на основе ReLU может решать ту же задачу без какого-либо синка, что подтверждает, что ограничение нормализации является фундаментальной причиной синк-поведения. Эксперименты подтверждают наши предсказания и демонстрируют их применимость за пределами теоретически проанализированной постановки: модели с softmax развивают сильные синки, в то время как внимание на основе ReLU устраняет их как в одно-головых, так и в много-головых вариантах.

English

Transformers often display an attention sink: probability mass concentrates on a fixed, content-agnostic position. We prove that computing a simple trigger-conditional behavior necessarily induces a sink in softmax self-attention models. Our results formalize a familiar intuition: normalization over a probability simplex must force attention to collapse onto a stable anchor to realize a default state (e.g., when the model needs to ignore the input). We instantiate this with a concrete task: when a designated trigger token appears, the model must return the average of all preceding token representations, and otherwise output zero, a task which mirrors the functionality of attention heads in the wild (Barbero et al., 2025; Guo et al., 2024). We also prove that non-normalized ReLU attention can solve the same task without any sink, confirming that the normalization constraint is the fundamental driver of sink behavior. Experiments validate our predictions and demonstrate they extend beyond the theoretically analyzed setting: softmax models develop strong sinks while ReLU attention eliminates them in both single-head and multi-head variants.