No Prestes Atención

Don't Pay Attention

June 12, 2025

Autores: Mohammad Hammoud, Devang Acharya

cs.AI

Resumen

El Transformer se ha convertido en el estándar de facto para los modelos de lenguaje a gran escala y una amplia gama de tareas posteriores en diversos dominios. A pesar de sus numerosas ventajas, como el paralelismo inherente en el entrenamiento, el Transformer aún enfrenta desafíos clave debido a su incapacidad para procesar eficazmente secuencias más allá de una ventana de contexto fija y la complejidad cuadrática de su mecanismo de atención. Estos desafíos han renovado el interés en arquitecturas similares a las RNN, que ofrecen escalabilidad lineal con la longitud de la secuencia y un mejor manejo de dependencias de largo alcance, aunque con un paralelismo limitado debido a su naturaleza inherentemente recurrente. En este artículo, proponemos Avey, una nueva arquitectura neuronal fundamental que se aparta tanto de la atención como de la recurrencia. Avey consta de un clasificador y un procesador neuronal autorregresivo, que colaboran para identificar y contextualizar únicamente los tokens más relevantes para cualquier token dado, independientemente de su posición en la secuencia. Específicamente, Avey desacopla la longitud de la secuencia del ancho del contexto, permitiendo así el procesamiento efectivo de secuencias arbitrariamente largas. Los resultados experimentales muestran que Avey se compara favorablemente con el Transformer en una variedad de benchmarks estándar de NLP de corto alcance, mientras que destaca notablemente en la captura de dependencias de largo alcance.

English

The Transformer has become the de facto standard for large language models and a wide range of downstream tasks across various domains. Despite its numerous advantages like inherent training parallelism, the Transformer still faces key challenges due to its inability to effectively process sequences beyond a fixed context window and the quadratic complexity of its attention mechanism. These challenges have renewed interest in RNN-like architectures, which offer linear scaling with sequence length and improved handling of long-range dependencies, albeit with limited parallelism due to their inherently recurrent nature. In this paper, we propose Avey, a new neural foundational architecture that breaks away from both attention and recurrence. Avey comprises a ranker and an autoregressive neural processor, which collaboratively identify and contextualize only the most relevant tokens for any given token, regardless of their positions in the sequence. Specifically, Avey decouples sequence length from context width, thus enabling effective processing of arbitrarily long sequences. Experimental results show that Avey compares favorably to the Transformer across a variety of standard short-range NLP benchmarks, while notably excelling at capturing long-range dependencies.