Não Preste Atenção

Don't Pay Attention

June 12, 2025

Autores: Mohammad Hammoud, Devang Acharya

cs.AI

Resumo

O Transformer tornou-se o padrão de facto para modelos de linguagem de grande escala e uma ampla gama de tarefas subsequentes em diversos domínios. Apesar de suas inúmeras vantagens, como o paralelismo inerente durante o treinamento, o Transformer ainda enfrenta desafios significativos devido à sua incapacidade de processar efetivamente sequências além de uma janela de contexto fixa e à complexidade quadrática de seu mecanismo de atenção. Esses desafios renovaram o interesse em arquiteturas semelhantes a RNNs, que oferecem escalabilidade linear com o comprimento da sequência e um melhor tratamento de dependências de longo alcance, embora com paralelismo limitado devido à sua natureza inerentemente recorrente. Neste artigo, propomos o Avey, uma nova arquitetura neural fundamental que se afasta tanto da atenção quanto da recorrência. O Avey é composto por um classificador e um processador neural autoregressivo, que colaboram para identificar e contextualizar apenas os tokens mais relevantes para qualquer token dado, independentemente de suas posições na sequência. Especificamente, o Avey desacopla o comprimento da sequência da largura do contexto, permitindo assim o processamento eficaz de sequências arbitrariamente longas. Resultados experimentais mostram que o Avey se compara favoravelmente ao Transformer em uma variedade de benchmarks padrão de NLP de curto alcance, enquanto se destaca notavelmente na captura de dependências de longo alcance.

English

The Transformer has become the de facto standard for large language models and a wide range of downstream tasks across various domains. Despite its numerous advantages like inherent training parallelism, the Transformer still faces key challenges due to its inability to effectively process sequences beyond a fixed context window and the quadratic complexity of its attention mechanism. These challenges have renewed interest in RNN-like architectures, which offer linear scaling with sequence length and improved handling of long-range dependencies, albeit with limited parallelism due to their inherently recurrent nature. In this paper, we propose Avey, a new neural foundational architecture that breaks away from both attention and recurrence. Avey comprises a ranker and an autoregressive neural processor, which collaboratively identify and contextualize only the most relevant tokens for any given token, regardless of their positions in the sequence. Specifically, Avey decouples sequence length from context width, thus enabling effective processing of arbitrarily long sequences. Experimental results show that Avey compares favorably to the Transformer across a variety of standard short-range NLP benchmarks, while notably excelling at capturing long-range dependencies.