Los Transformadores Lineales son Aprendices Versátiles en Contexto.

Linear Transformers are Versatile In-Context Learners

February 21, 2024

Autores: Max Vladymyrov, Johannes von Oswald, Mark Sandler, Rong Ge

cs.AI

Resumen

Investigaciones recientes han demostrado que los transformadores, particularmente los modelos de atención lineal, ejecutan implícitamente algoritmos similares al descenso de gradiente sobre los datos proporcionados en contexto durante su paso de inferencia hacia adelante. Sin embargo, su capacidad para manejar problemas más complejos sigue sin explorarse. En este artículo, demostramos que cualquier transformador lineal mantiene un modelo lineal implícito y puede interpretarse como si realizara una variante de descenso de gradiente precondicionado. También investigamos el uso de transformadores lineales en un escenario desafiante donde los datos de entrenamiento están corrompidos con diferentes niveles de ruido. Notablemente, demostramos que, para este problema, los transformadores lineales descubren un algoritmo de optimización intrincado y altamente efectivo, superando o igualando en rendimiento a muchas líneas base razonables. Ingeniería inversa de este algoritmo revela que se trata de un enfoque novedoso que incorpora momentum y reescalado adaptativo basado en los niveles de ruido. Nuestros hallazgos muestran que incluso los transformadores lineales poseen la sorprendente capacidad de descubrir estrategias de optimización sofisticadas.

English

Recent research has demonstrated that transformers, particularly linear attention models, implicitly execute gradient-descent-like algorithms on data provided in-context during their forward inference step. However, their capability in handling more complex problems remains unexplored. In this paper, we prove that any linear transformer maintains an implicit linear model and can be interpreted as performing a variant of preconditioned gradient descent. We also investigate the use of linear transformers in a challenging scenario where the training data is corrupted with different levels of noise. Remarkably, we demonstrate that for this problem linear transformers discover an intricate and highly effective optimization algorithm, surpassing or matching in performance many reasonable baselines. We reverse-engineer this algorithm and show that it is a novel approach incorporating momentum and adaptive rescaling based on noise levels. Our findings show that even linear transformers possess the surprising ability to discover sophisticated optimization strategies.