Transformer können Längengeneralisierung erreichen, aber nicht robust.

Transformers Can Achieve Length Generalization But Not Robustly

February 14, 2024

Autoren: Yongchao Zhou, Uri Alon, Xinyun Chen, Xuezhi Wang, Rishabh Agarwal, Denny Zhou

cs.AI

Zusammenfassung

Längengeneralisierung, definiert als die Fähigkeit, von kürzeren Trainingssequenzen auf längere Testsequenzen zu extrapolieren, stellt eine erhebliche Herausforderung für Sprachmodelle dar. Dieses Problem besteht auch bei großskaligen Transformern, die relativ einfache Aufgaben bewältigen. In diesem Artikel testen wir die Fähigkeit des Transformers zur Längengeneralisierung anhand der Aufgabe der Addition zweier ganzer Zahlen. Wir zeigen, dass der Erfolg der Längengeneralisierung eng mit dem Datenformat und der Art der Positionskodierung verknüpft ist. Durch die Verwendung der richtigen Kombination aus Datenformat und Positionskodierungen zeigen wir erstmals, dass Standard-Transformer auf eine Sequenzlänge extrapolieren können, die das 2,5-fache der Eingabelänge beträgt. Dennoch bleibt die Längengeneralisierung im Gegensatz zur In-Distribution-Generalisierung fragil und wird erheblich durch Faktoren wie die zufällige Gewichtsinitialisierung und die Reihenfolge der Trainingsdaten beeinflusst, was zu großen Varianzen über verschiedene Zufallsinitialisierungen hinweg führt.

English

Length generalization, defined as the ability to extrapolate from shorter training sequences to longer test ones, is a significant challenge for language models. This issue persists even with large-scale Transformers handling relatively straightforward tasks. In this paper, we test the Transformer's ability of length generalization using the task of addition of two integers. We show that the success of length generalization is intricately linked to the data format and the type of position encoding. Using the right combination of data format and position encodings, we show for the first time that standard Transformers can extrapolate to a sequence length that is 2.5x the input length. Nevertheless, unlike in-distribution generalization, length generalization remains fragile, significantly influenced by factors like random weight initialization and training data order, leading to large variances across different random seeds.