Selektive Aufmerksamkeit verbessert Transformer.

Selective Attention Improves Transformer

October 3, 2024

Autoren: Yaniv Leviathan, Matan Kalman, Yossi Matias

cs.AI

Zusammenfassung

Unnötige Elemente im Kontext der Aufmerksamkeit beeinträchtigen die Leistung. Wir stellen die Selektive Aufmerksamkeit vor, eine einfache, parameterfreie Änderung am Standard-Aufmerksamkeitsmechanismus, die die Aufmerksamkeit auf unnötige Elemente reduziert. Die Selektive Aufmerksamkeit verbessert die Leistung des Sprachmodellierens bei verschiedenen Modellgrößen und Kontextlängen. Zum Beispiel zeigen eine Reihe von Transformern, die mit dem Ziel des Sprachmodellierens auf C4 trainiert wurden und selektive Aufmerksamkeit verwenden, eine äquivalente Leistung im Vergleich zu Standard-Transformern mit etwa doppelt so vielen Köpfen und Parametern in ihren Aufmerksamkeitsmodulen. Die Selektive Aufmerksamkeit ermöglicht auch die Verringerung der Größe des Puffers im Aufmerksamkeitskontext, was zu bedeutenden Reduzierungen der Speicher- und Rechenanforderungen während der Inferenz führt. Beispielsweise benötigen Transformer mit 100 Millionen Parametern, die auf C4 mit Kontextgrößen von 512, 1.024 und 2.048 trainiert wurden, mit selektiver Aufmerksamkeit 16-fach, 25-fach bzw. 47-fach weniger Speicher für ihr Aufmerksamkeitsmodul im Vergleich zu denen ohne selektive Aufmerksamkeit, bei gleicher Validierungsperplexität.

English

Unneeded elements in the attention's context degrade performance. We introduce Selective Attention, a simple parameter-free change to the standard attention mechanism which reduces attention to unneeded elements. Selective attention improves language modeling performance in a variety of model sizes and context lengths. For example, a range of transformers trained with the language modeling objective on C4 with selective attention perform equivalently to standard transformers with ~2X more heads and parameters in their attention modules. Selective attention also allows decreasing the size of the attention's context buffer, leading to meaningful reductions in the memory and compute requirements during inference. For example, transformers with 100M parameters trained on C4 with context sizes of 512, 1,024, and 2,048 need 16X, 25X, and 47X less memory for their attention module, respectively, when equipped with selective attention, as those without selective attention, with the same validation perplexity.