Längengeneralisierung in arithmetischen Transformern

Length Generalization in Arithmetic Transformers

June 27, 2023

Autoren: Samy Jelassi, Stéphane d'Ascoli, Carles Domingo-Enrich, Yuhuai Wu, Yuanzhi Li, François Charton

cs.AI

Zusammenfassung

Wir untersuchen, wie Transformer-Modelle mit zwei Herausforderungen umgehen: dem Erlernen grundlegender Ganzzahlarithmetik und der Generalisierung auf längere Sequenzen als diejenigen, die während des Trainings gesehen wurden. Wir stellen fest, dass relative Positions-Embeddings eine Längengeneralisierung für einfache Aufgaben wie die Addition ermöglichen: Modelle, die auf 5-stelligen Zahlen trainiert wurden, können 15-stellige Summen berechnen. Diese Methode versagt jedoch bei der Multiplikation, und wir schlagen das sogenannte Trainingsset-Priming vor: das Hinzufügen einiger (10 bis 50) langer Sequenzen zum Trainingsset. Wir zeigen, dass Priming es Modellen, die auf 5-stellige mal 3-stellige Multiplikationen trainiert wurden, ermöglicht, auf 35-stellige mal 3-stellige Beispiele zu generalisieren. Außerdem zeigen wir, dass Modelle für unterschiedliche Generalisierungslängen geprimt werden können und dass die Größe der Priming-Stichprobe logarithmisch mit der Größe des Trainingssets skaliert. Schließlich diskutieren wir potenzielle Anwendungen von Priming über die Arithmetik hinaus.

English

We examine how transformers cope with two challenges: learning basic integer arithmetic, and generalizing to longer sequences than seen during training. We find that relative position embeddings enable length generalization for simple tasks, such as addition: models trained on 5-digit numbers can perform 15-digit sums. However, this method fails for multiplication, and we propose train set priming: adding a few (10 to 50) long sequences to the training set. We show that priming allows models trained on 5-digit times 3-digit multiplications to generalize to 35times 3 examples. We also show that models can be primed for different generalization lengths, and that the priming sample size scales as the logarithm of the training set size. Finally, we discuss potential applications of priming beyond arithmetic.