Трансформеры могут выполнять арифметические операции с правильными вложениями.
Transformers Can Do Arithmetic with the Right Embeddings
May 27, 2024
Авторы: Sean McLeish, Arpit Bansal, Alex Stein, Neel Jain, John Kirchenbauer, Brian R. Bartoldson, Bhavya Kailkhura, Abhinav Bhatele, Jonas Geiping, Avi Schwarzschild, Tom Goldstein
cs.AI
Аннотация
Плохая производительность трансформеров в арифметических задачах, кажется, в значительной степени обусловлена их неспособностью отслеживать точное положение каждой цифры в большом ряду цифр. Мы исправляем эту проблему, добавляя встраивание к каждой цифре, кодирующее ее позицию относительно начала числа. Помимо улучшения, которое обеспечивают эти встраивания самостоятельно, мы показываем, что это исправление позволяет внести изменения в архитектуру, такие как ввод внедрения и рекуррентные слои, для дальнейшего улучшения производительности.
С учетом разрешенных позиций мы можем изучить логическую экстраполяционную способность трансформеров. Могут ли они решать арифметические проблемы, которые больше и сложнее, чем те, что есть в их обучающих данных? Мы обнаружили, что обучаясь только на числах из 20 цифр с использованием одного графического процессора в течение одного дня, мы можем достичь современной производительности, достигая до 99% точности в задачах сложения чисел из 100 цифр.
Наконец, мы показываем, что эти улучшения в числовых навыках также открывают возможности для улучшений в других задачах многошагового рассуждения, включая сортировку и умножение.
English
The poor performance of transformers on arithmetic tasks seems to stem in
large part from their inability to keep track of the exact position of each
digit inside of a large span of digits. We mend this problem by adding an
embedding to each digit that encodes its position relative to the start of the
number. In addition to the boost these embeddings provide on their own, we show
that this fix enables architectural modifications such as input injection and
recurrent layers to improve performance even further.
With positions resolved, we can study the logical extrapolation ability of
transformers. Can they solve arithmetic problems that are larger and more
complex than those in their training data? We find that training on only 20
digit numbers with a single GPU for one day, we can reach state-of-the-art
performance, achieving up to 99% accuracy on 100 digit addition problems.
Finally, we show that these gains in numeracy also unlock improvements on other
multi-step reasoning tasks including sorting and multiplication.