A Atenção Seletiva Melhora o Transformer

Selective Attention Improves Transformer

October 3, 2024

Autores: Yaniv Leviathan, Matan Kalman, Yossi Matias

cs.AI

Resumo

Elementos desnecessários no contexto de atenção degradam o desempenho. Apresentamos a Atenção Seletiva, uma simples alteração sem parâmetros no mecanismo de atenção padrão que reduz a atenção para elementos desnecessários. A Atenção Seletiva melhora o desempenho de modelagem de linguagem em uma variedade de tamanhos de modelo e comprimentos de contexto. Por exemplo, uma gama de transformadores treinados com o objetivo de modelagem de linguagem em C4 com atenção seletiva tem desempenho equivalente aos transformadores padrão com cerca de 2X mais cabeças e parâmetros em seus módulos de atenção. A Atenção Seletiva também permite reduzir o tamanho do buffer de contexto de atenção, resultando em reduções significativas nos requisitos de memória e computação durante a inferência. Por exemplo, transformadores com 100M de parâmetros treinados em C4 com tamanhos de contexto de 512, 1.024 e 2.048 precisam de 16X, 25X e 47X menos memória para seus módulos de atenção, respectivamente, quando equipados com atenção seletiva, em comparação com aqueles sem atenção seletiva, com a mesma perplexidade de validação.

English

Unneeded elements in the attention's context degrade performance. We introduce Selective Attention, a simple parameter-free change to the standard attention mechanism which reduces attention to unneeded elements. Selective attention improves language modeling performance in a variety of model sizes and context lengths. For example, a range of transformers trained with the language modeling objective on C4 with selective attention perform equivalently to standard transformers with ~2X more heads and parameters in their attention modules. Selective attention also allows decreasing the size of the attention's context buffer, leading to meaningful reductions in the memory and compute requirements during inference. For example, transformers with 100M parameters trained on C4 with context sizes of 512, 1,024, and 2,048 need 16X, 25X, and 47X less memory for their attention module, respectively, when equipped with selective attention, as those without selective attention, with the same validation perplexity.