Селективное внимание улучшает Трансформер.

Selective Attention Improves Transformer

October 3, 2024

Авторы: Yaniv Leviathan, Matan Kalman, Yossi Matias

cs.AI

Аннотация

Ненужные элементы в контексте внимания ухудшают производительность. Мы представляем Селективное Внимание, простое изменение стандартного механизма внимания, которое уменьшает внимание к ненужным элементам. Селективное внимание улучшает производительность языкового моделирования в различных размерах моделей и длинах контекста. Например, ряд трансформеров, обученных с целью языкового моделирования на C4 с селективным вниманием, работают эквивалентно стандартным трансформерам с примерно вдвое большим количеством голов и параметров в их модулях внимания. Селективное внимание также позволяет уменьшить размер буфера контекста внимания, что приводит к существенному снижению требований к памяти и вычислениям во время вывода. Например, трансформеры с 100 миллионами параметров, обученные на C4 с размерами контекста 512, 1 024 и 2 048, требуют в 16, 25 и 47 раз меньше памяти для своего модуля внимания соответственно, когда они оснащены селективным вниманием, чем те, у которых нет селективного внимания, с тем же показателем сложности валидации.

English

Unneeded elements in the attention's context degrade performance. We introduce Selective Attention, a simple parameter-free change to the standard attention mechanism which reduces attention to unneeded elements. Selective attention improves language modeling performance in a variety of model sizes and context lengths. For example, a range of transformers trained with the language modeling objective on C4 with selective attention perform equivalently to standard transformers with ~2X more heads and parameters in their attention modules. Selective attention also allows decreasing the size of the attention's context buffer, leading to meaningful reductions in the memory and compute requirements during inference. For example, transformers with 100M parameters trained on C4 with context sizes of 512, 1,024, and 2,048 need 16X, 25X, and 47X less memory for their attention module, respectively, when equipped with selective attention, as those without selective attention, with the same validation perplexity.