Selectieve aandacht verbetert Transformer.

Selective Attention Improves Transformer

October 3, 2024

Auteurs: Yaniv Leviathan, Matan Kalman, Yossi Matias

cs.AI

Samenvatting

Onnodige elementen in de context van de aandacht verminderen de prestaties. We introduceren Selectieve Aandacht, een eenvoudige parameterloze wijziging van het standaard aandachtsmechanisme dat de aandacht voor onnodige elementen vermindert. Selectieve aandacht verbetert de prestaties van taalmodellering in verschillende modelgroottes en contextlengtes. Bijvoorbeeld, een reeks transformers getraind met het doel van taalmodellering op C4 met selectieve aandacht presteren equivalent aan standaard transformers met ~2X meer heads en parameters in hun aandachtsmodules. Selectieve aandacht maakt het ook mogelijk om de grootte van de contextbuffer van de aandacht te verkleinen, wat leidt tot betekenisvolle verminderingen in de geheugen- en rekeneisen tijdens inferentie. Bijvoorbeeld, transformers met 100M parameters getraind op C4 met contextgroottes van 512, 1.024 en 2.048 hebben respectievelijk 16X, 25X en 47X minder geheugen nodig voor hun aandachtsmodule wanneer ze zijn uitgerust met selectieve aandacht, in vergelijking met die zonder selectieve aandacht, met dezelfde validatie perplexiteit.

English

Unneeded elements in the attention's context degrade performance. We introduce Selective Attention, a simple parameter-free change to the standard attention mechanism which reduces attention to unneeded elements. Selective attention improves language modeling performance in a variety of model sizes and context lengths. For example, a range of transformers trained with the language modeling objective on C4 with selective attention perform equivalently to standard transformers with ~2X more heads and parameters in their attention modules. Selective attention also allows decreasing the size of the attention's context buffer, leading to meaningful reductions in the memory and compute requirements during inference. For example, transformers with 100M parameters trained on C4 with context sizes of 512, 1,024, and 2,048 need 16X, 25X, and 47X less memory for their attention module, respectively, when equipped with selective attention, as those without selective attention, with the same validation perplexity.