Generalizzazione della Lunghezza nei Trasformatori per l'Aritmetica

Abstract

Esaminiamo come i transformer affrontano due sfide: apprendere l'aritmetica di base con numeri interi e generalizzare a sequenze più lunghe rispetto a quelle viste durante l'addestramento. Scopriamo che gli embedding di posizione relativa consentono la generalizzazione della lunghezza per compiti semplici, come l'addizione: modelli addestrati su numeri a 5 cifre possono eseguire somme a 15 cifre. Tuttavia, questo metodo fallisce per la moltiplicazione, e proponiamo il priming del training set: aggiungere alcune (da 10 a 50) sequenze lunghe al set di addestramento. Dimostriamo che il priming permette ai modelli addestrati su moltiplicazioni di numeri a 5 cifre per 3 cifre di generalizzare a esempi di 35x3. Mostriamo inoltre che i modelli possono essere preparati per diverse lunghezze di generalizzazione e che la dimensione del campione di priming scala come il logaritmo della dimensione del training set. Infine, discutiamo le potenziali applicazioni del priming oltre l'aritmetica.

English

We examine how transformers cope with two challenges: learning basic integer arithmetic, and generalizing to longer sequences than seen during training. We find that relative position embeddings enable length generalization for simple tasks, such as addition: models trained on 5-digit numbers can perform 15-digit sums. However, this method fails for multiplication, and we propose train set priming: adding a few (10 to 50) long sequences to the training set. We show that priming allows models trained on 5-digit times 3-digit multiplications to generalize to 35times 3 examples. We also show that models can be primed for different generalization lengths, and that the priming sample size scales as the logarithm of the training set size. Finally, we discuss potential applications of priming beyond arithmetic.

Generalizzazione della Lunghezza nei Trasformatori per l'Aritmetica

Length Generalization in Arithmetic Transformers

Abstract

Support