Softpick: Sem Ponto de Atenção, Sem Ativações Massivas com Softmax Retificada

Softpick: No Attention Sink, No Massive Activations with Rectified Softmax

April 29, 2025

Autores: Zayd M. K. Zuhri, Erland Hilman Fuadi, Alham Fikri Aji

cs.AI

Resumo

Apresentamos o softpick, uma substituição direta e retificada, não somada a um, para a função softmax em mecanismos de atenção de transformadores, que elimina o sumidouro de atenção e as ativações massivas. Nossos experimentos com modelos de 340 milhões de parâmetros demonstram que o softpick mantém a paridade de desempenho com a softmax em benchmarks padrão, enquanto alcança uma taxa de sumidouro de 0%. O transformador com softpick produz estados ocultos com curtose significativamente menor (340 vs 33.510) e cria mapas de atenção esparsos (46,97% de esparsidade). Modelos que utilizam softpick consistentemente superam a softmax quando quantizados, com vantagens particularmente pronunciadas em precisões de bits mais baixas. Nossa análise e discussão mostram como o softpick tem o potencial de abrir novas possibilidades para quantização, treinamento de baixa precisão, otimização de esparsidade, poda e interpretabilidade. Nosso código está disponível em https://github.com/zaydzuhri/softpick-attention.

English

We introduce softpick, a rectified, not sum-to-one, drop-in replacement for softmax in transformer attention mechanisms that eliminates attention sink and massive activations. Our experiments with 340M parameter models demonstrate that softpick maintains performance parity with softmax on standard benchmarks while achieving 0% sink rate. The softpick transformer produces hidden states with significantly lower kurtosis (340 vs 33,510) and creates sparse attention maps (46.97% sparsity). Models using softpick consistently outperform softmax when quantized, with particularly pronounced advantages at lower bit precisions. Our analysis and discussion shows how softpick has the potential to open new possibilities for quantization, low-precision training, sparsity optimization, pruning, and interpretability. Our code is available at https://github.com/zaydzuhri/softpick-attention.