Randomisierte Positionskodierungen verbessern die Längengeneralisierung von Transformern

Randomized Positional Encodings Boost Length Generalization of Transformers

May 26, 2023

Autoren: Anian Ruoss, Grégoire Delétang, Tim Genewein, Jordi Grau-Moya, Róbert Csordás, Mehdi Bennani, Shane Legg, Joel Veness

cs.AI

Zusammenfassung

Transformer zeigen beeindruckende Generalisierungsfähigkeiten bei Aufgaben mit einer festen Kontextlänge. Allerdings gelingt es ihnen nicht, auf Sequenzen beliebiger Länge zu verallgemeinern, selbst bei scheinbar einfachen Aufgaben wie dem Duplizieren einer Zeichenkette. Darüber hinaus ist das Training auf längeren Sequenzen aufgrund der quadratischen Rechenkomplexität des globalen Aufmerksamkeitsmechanismus ineffizient. In dieser Arbeit zeigen wir, dass dieses Versagen mit Positionskodierungen zusammenhängt, die für längere Sequenzen außerhalb der Verteilung liegen (selbst bei relativen Kodierungen), und stellen eine neuartige Familie von Positionskodierungen vor, die dieses Problem überwinden können. Konkret simuliert unser randomisiertes Positionskodierungsschema die Positionen längerer Sequenzen und wählt zufällig eine geordnete Teilmenge aus, die der Länge der Sequenz entspricht. Unsere umfangreiche empirische Auswertung von 6000 Modellen über 15 algorithmische Denkaufgaben hinweg zeigt, dass unsere Methode es Transformern ermöglicht, auf Sequenzen ungesehener Länge zu verallgemeinern (wodurch die Testgenauigkeit im Durchschnitt um 12,0 % steigt).

English

Transformers have impressive generalization capabilities on tasks with a fixed context length. However, they fail to generalize to sequences of arbitrary length, even for seemingly simple tasks such as duplicating a string. Moreover, simply training on longer sequences is inefficient due to the quadratic computation complexity of the global attention mechanism. In this work, we demonstrate that this failure mode is linked to positional encodings being out-of-distribution for longer sequences (even for relative encodings) and introduce a novel family of positional encodings that can overcome this problem. Concretely, our randomized positional encoding scheme simulates the positions of longer sequences and randomly selects an ordered subset to fit the sequence's length. Our large-scale empirical evaluation of 6000 models across 15 algorithmic reasoning tasks shows that our method allows Transformers to generalize to sequences of unseen length (increasing test accuracy by 12.0% on average).