Transformers kunnen lengtegeneralisatie bereiken, maar niet robuust.

Transformers Can Achieve Length Generalization But Not Robustly

February 14, 2024

Auteurs: Yongchao Zhou, Uri Alon, Xinyun Chen, Xuezhi Wang, Rishabh Agarwal, Denny Zhou

cs.AI

Samenvatting

Lengtegeneralizatie, gedefinieerd als het vermogen om te extrapoleren van kortere trainingsreeksen naar langere testreeksen, is een aanzienlijke uitdaging voor taalmodelen. Dit probleem blijft bestaan, zelfs bij grootschalige Transformers die relatief eenvoudige taken uitvoeren. In dit artikel testen we het vermogen van de Transformer tot lengtegeneralizatie met behulp van de taak van het optellen van twee gehele getallen. We laten zien dat het succes van lengtegeneralizatie nauw verbonden is met het gegevensformaat en het type positiecodering. Door de juiste combinatie van gegevensformaat en positiecoderingen te gebruiken, tonen we voor het eerst aan dat standaard Transformers kunnen extrapoleren naar een reekslengte die 2,5 keer de invoerlengte is. Desalniettemin blijft lengtegeneralizatie, in tegenstelling tot in-distributiegeneralizatie, kwetsbaar en wordt het aanzienlijk beïnvloed door factoren zoals willekeurige gewichtsinitialisatie en de volgorde van trainingsgegevens, wat leidt tot grote variaties tussen verschillende willekeurige seeds.

English

Length generalization, defined as the ability to extrapolate from shorter training sequences to longer test ones, is a significant challenge for language models. This issue persists even with large-scale Transformers handling relatively straightforward tasks. In this paper, we test the Transformer's ability of length generalization using the task of addition of two integers. We show that the success of length generalization is intricately linked to the data format and the type of position encoding. Using the right combination of data format and position encodings, we show for the first time that standard Transformers can extrapolate to a sequence length that is 2.5x the input length. Nevertheless, unlike in-distribution generalization, length generalization remains fragile, significantly influenced by factors like random weight initialization and training data order, leading to large variances across different random seeds.