Softpick: Keine Attention Sink, keine massiven Aktivierungen mit rectifiziertem Softmax
Softpick: No Attention Sink, No Massive Activations with Rectified Softmax
April 29, 2025
Autoren: Zayd M. K. Zuhri, Erland Hilman Fuadi, Alham Fikri Aji
cs.AI
Zusammenfassung
Wir stellen softpick vor, eine korrigierte, nicht auf eins normierte Alternative zu softmax in Transformer-Attentionsmechanismen, die Aufmerksamkeitssenken und massive Aktivierungen eliminiert. Unsere Experimente mit 340M-Parameter-Modellen zeigen, dass softpick auf Standard-Benchmarks eine vergleichbare Leistung wie softmax beibehält, während eine Senkenrate von 0% erreicht wird. Der softpick-Transformer erzeugt versteckte Zustände mit deutlich geringerer Kurtosis (340 vs. 33.510) und erzeugt spärliche Aufmerksamkeitskarten (46,97% Sparsity). Modelle, die softpick verwenden, übertreffen softmax durchweg bei Quantisierung, mit besonders deutlichen Vorteilen bei niedrigeren Bit-Präzisionen. Unsere Analyse und Diskussion zeigt, wie softpick das Potenzial hat, neue Möglichkeiten für Quantisierung, Training mit niedriger Präzision, Sparsity-Optimierung, Pruning und Interpretierbarkeit zu eröffnen. Unser Code ist verfügbar unter https://github.com/zaydzuhri/softpick-attention.
English
We introduce softpick, a rectified, not sum-to-one, drop-in replacement for
softmax in transformer attention mechanisms that eliminates attention sink and
massive activations. Our experiments with 340M parameter models demonstrate
that softpick maintains performance parity with softmax on standard benchmarks
while achieving 0% sink rate. The softpick transformer produces hidden states
with significantly lower kurtosis (340 vs 33,510) and creates sparse attention
maps (46.97% sparsity). Models using softpick consistently outperform softmax
when quantized, with particularly pronounced advantages at lower bit
precisions. Our analysis and discussion shows how softpick has the potential to
open new possibilities for quantization, low-precision training, sparsity
optimization, pruning, and interpretability. Our code is available at
https://github.com/zaydzuhri/softpick-attention.