Softpick: Без внимания-поглотителя, без массивных активаций с исправленным Softmax

Softpick: No Attention Sink, No Massive Activations with Rectified Softmax

April 29, 2025

Авторы: Zayd M. K. Zuhri, Erland Hilman Fuadi, Alham Fikri Aji

cs.AI

Аннотация

Мы представляем softpick — исправленную, не требующую нормировки на единицу замену функции softmax в механизмах внимания трансформеров, которая устраняет эффект "поглощения внимания" и чрезмерно большие активации. Наши эксперименты с моделями, содержащими 340 миллионов параметров, демонстрируют, что softpick сохраняет производительность на уровне softmax на стандартных тестах, при этом достигая 0% уровня поглощения внимания. Трансформер с softpick генерирует скрытые состояния с существенно более низким эксцессом (340 против 33 510) и создает разреженные карты внимания (46,97% разреженности). Модели, использующие softpick, стабильно превосходят модели с softmax при квантовании, особенно заметно это преимущество проявляется при более низкой битовой точности. Наш анализ и обсуждение показывают, что softpick открывает новые возможности для квантования, обучения с низкой точностью, оптимизации разреженности, обрезки и интерпретируемости. Наш код доступен по адресу https://github.com/zaydzuhri/softpick-attention.

English

We introduce softpick, a rectified, not sum-to-one, drop-in replacement for softmax in transformer attention mechanisms that eliminates attention sink and massive activations. Our experiments with 340M parameter models demonstrate that softpick maintains performance parity with softmax on standard benchmarks while achieving 0% sink rate. The softpick transformer produces hidden states with significantly lower kurtosis (340 vs 33,510) and creates sparse attention maps (46.97% sparsity). Models using softpick consistently outperform softmax when quantized, with particularly pronounced advantages at lower bit precisions. Our analysis and discussion shows how softpick has the potential to open new possibilities for quantization, low-precision training, sparsity optimization, pruning, and interpretability. Our code is available at https://github.com/zaydzuhri/softpick-attention.