L'attention sélective améliore le Transformer.

Selective Attention Improves Transformer

October 3, 2024

Auteurs: Yaniv Leviathan, Matan Kalman, Yossi Matias

cs.AI

Résumé

Les éléments inutiles dans le contexte de l'attention dégradent les performances. Nous introduisons l'Attention Sélective, une modification simple et sans paramètre du mécanisme d'attention standard qui réduit l'attention portée aux éléments inutiles. L'Attention Sélective améliore les performances de modélisation linguistique pour diverses tailles de modèles et longueurs de contexte. Par exemple, une gamme de transformers entraînés avec l'objectif de modélisation linguistique sur C4 avec une attention sélective se comportent de manière équivalente aux transformers standard avec environ 2 fois plus de têtes et de paramètres dans leurs modules d'attention. L'Attention Sélective permet également de réduire la taille du tampon de contexte de l'attention, entraînant des réductions significatives des besoins en mémoire et en calcul lors de l'inférence. Par exemple, les transformers avec 100 millions de paramètres entraînés sur C4 avec des tailles de contexte de 512, 1 024 et 2 048 nécessitent respectivement 16 fois, 25 fois et 47 fois moins de mémoire pour leur module d'attention lorsqu'ils sont équipés d'une attention sélective, par rapport à ceux sans attention sélective, avec la même perplexité de validation.

English

Unneeded elements in the attention's context degrade performance. We introduce Selective Attention, a simple parameter-free change to the standard attention mechanism which reduces attention to unneeded elements. Selective attention improves language modeling performance in a variety of model sizes and context lengths. For example, a range of transformers trained with the language modeling objective on C4 with selective attention perform equivalently to standard transformers with ~2X more heads and parameters in their attention modules. Selective attention also allows decreasing the size of the attention's context buffer, leading to meaningful reductions in the memory and compute requirements during inference. For example, transformers with 100M parameters trained on C4 with context sizes of 512, 1,024, and 2,048 need 16X, 25X, and 47X less memory for their attention module, respectively, when equipped with selective attention, as those without selective attention, with the same validation perplexity.