Обобщение длины в арифметических трансформерах

Аннотация

Мы исследуем, как трансформеры справляются с двумя задачами: изучением базовой целочисленной арифметики и обобщением на последовательности большей длины, чем те, что встречались во время обучения. Мы обнаруживаем, что относительные позиционные эмбеддинги позволяют модели обобщать длину для простых задач, таких как сложение: модели, обученные на 5-значных числах, могут выполнять сложение 15-значных чисел. Однако этот метод не работает для умножения, и мы предлагаем метод "подготовки обучающего набора": добавление нескольких (от 10 до 50) длинных последовательностей в обучающий набор. Мы показываем, что подготовка позволяет моделям, обученным на умножении 5-значных чисел на 3-значные, обобщать на примеры 35×3. Мы также демонстрируем, что модели можно подготовить для обобщения на разные длины и что размер подготовительной выборки масштабируется как логарифм размера обучающего набора. Наконец, мы обсуждаем потенциальные применения подготовки за пределами арифметики.

English

We examine how transformers cope with two challenges: learning basic integer arithmetic, and generalizing to longer sequences than seen during training. We find that relative position embeddings enable length generalization for simple tasks, such as addition: models trained on 5-digit numbers can perform 15-digit sums. However, this method fails for multiplication, and we propose train set priming: adding a few (10 to 50) long sequences to the training set. We show that priming allows models trained on 5-digit times 3-digit multiplications to generalize to 35times 3 examples. We also show that models can be primed for different generalization lengths, and that the priming sample size scales as the logarithm of the training set size. Finally, we discuss potential applications of priming beyond arithmetic.

Обобщение длины в арифметических трансформерах

Length Generalization in Arithmetic Transformers

Аннотация

Support