Codificações Posicionais Aleatórias Melhoram a Generalização de Comprimento em Transformers

Randomized Positional Encodings Boost Length Generalization of Transformers

May 26, 2023

Autores: Anian Ruoss, Grégoire Delétang, Tim Genewein, Jordi Grau-Moya, Róbert Csordás, Mehdi Bennani, Shane Legg, Joel Veness

cs.AI

Resumo

Os Transformadores possuem capacidades impressionantes de generalização em tarefas com um comprimento de contexto fixo. No entanto, eles falham em generalizar para sequências de comprimento arbitrário, mesmo para tarefas aparentemente simples, como duplicar uma string. Além disso, simplesmente treinar em sequências mais longas é ineficiente devido à complexidade computacional quadrática do mecanismo de atenção global. Neste trabalho, demonstramos que essa falha está relacionada às codificações posicionais estarem fora da distribuição para sequências mais longas (mesmo para codificações relativas) e introduzimos uma nova família de codificações posicionais que pode superar esse problema. Concretamente, nosso esquema de codificação posicional randomizada simula as posições de sequências mais longas e seleciona aleatoriamente um subconjunto ordenado para se ajustar ao comprimento da sequência. Nossa avaliação empírica em larga escala de 6000 modelos em 15 tarefas de raciocínio algorítmico mostra que nosso método permite que os Transformadores generalizem para sequências de comprimento não visto (aumentando a precisão do teste em 12,0% em média).

English

Transformers have impressive generalization capabilities on tasks with a fixed context length. However, they fail to generalize to sequences of arbitrary length, even for seemingly simple tasks such as duplicating a string. Moreover, simply training on longer sequences is inefficient due to the quadratic computation complexity of the global attention mechanism. In this work, we demonstrate that this failure mode is linked to positional encodings being out-of-distribution for longer sequences (even for relative encodings) and introduce a novel family of positional encodings that can overcome this problem. Concretely, our randomized positional encoding scheme simulates the positions of longer sequences and randomly selects an ordered subset to fit the sequence's length. Our large-scale empirical evaluation of 6000 models across 15 algorithmic reasoning tasks shows that our method allows Transformers to generalize to sequences of unseen length (increasing test accuracy by 12.0% on average).