Las Codificaciones Posicionales Aleatorias Mejoran la Generalización de Longitud en Transformers

Randomized Positional Encodings Boost Length Generalization of Transformers

May 26, 2023

Autores: Anian Ruoss, Grégoire Delétang, Tim Genewein, Jordi Grau-Moya, Róbert Csordás, Mehdi Bennani, Shane Legg, Joel Veness

cs.AI

Resumen

Los Transformers tienen capacidades impresionantes de generalización en tareas con una longitud de contexto fija. Sin embargo, no logran generalizar a secuencias de longitud arbitraria, incluso para tareas aparentemente simples como duplicar una cadena. Además, simplemente entrenar con secuencias más largas es ineficiente debido a la complejidad computacional cuadrática del mecanismo de atención global. En este trabajo, demostramos que este modo de fallo está relacionado con que las codificaciones posicionales estén fuera de distribución para secuencias más largas (incluso para codificaciones relativas) e introducimos una nueva familia de codificaciones posicionales que puede superar este problema. Concretamente, nuestro esquema de codificación posicional aleatorizada simula las posiciones de secuencias más largas y selecciona aleatoriamente un subconjunto ordenado para ajustarse a la longitud de la secuencia. Nuestra evaluación empírica a gran escala de 6000 modelos en 15 tareas de razonamiento algorítmico muestra que nuestro método permite a los Transformers generalizar a secuencias de longitud no vista (aumentando la precisión en las pruebas en un 12.0% en promedio).

English

Transformers have impressive generalization capabilities on tasks with a fixed context length. However, they fail to generalize to sequences of arbitrary length, even for seemingly simple tasks such as duplicating a string. Moreover, simply training on longer sequences is inefficient due to the quadratic computation complexity of the global attention mechanism. In this work, we demonstrate that this failure mode is linked to positional encodings being out-of-distribution for longer sequences (even for relative encodings) and introduce a novel family of positional encodings that can overcome this problem. Concretely, our randomized positional encoding scheme simulates the positions of longer sequences and randomly selects an ordered subset to fit the sequence's length. Our large-scale empirical evaluation of 6000 models across 15 algorithmic reasoning tasks shows that our method allows Transformers to generalize to sequences of unseen length (increasing test accuracy by 12.0% on average).