Ne prêtez pas attention

Don't Pay Attention

June 12, 2025

Auteurs: Mohammad Hammoud, Devang Acharya

cs.AI

Résumé

Le Transformer est devenu le standard de facto pour les grands modèles de langage et une large gamme de tâches en aval dans divers domaines. Malgré ses nombreux avantages, comme le parallélisme inhérent à son entraînement, le Transformer reste confronté à des défis majeurs en raison de son incapacité à traiter efficacement des séquences dépassant une fenêtre de contexte fixe et de la complexité quadratique de son mécanisme d'attention. Ces défis ont ravivé l'intérêt pour les architectures de type RNN, qui offrent une mise à l'échelle linéaire avec la longueur des séquences et une meilleure gestion des dépendances à long terme, bien qu'elles soient limitées en parallélisme en raison de leur nature récurrente intrinsèque. Dans cet article, nous proposons Avey, une nouvelle architecture neuronale fondamentale qui s'éloigne à la fois de l'attention et de la récurrence. Avey se compose d'un classifieur et d'un processeur neuronal autorégressif, qui collaborent pour identifier et contextualiser uniquement les tokens les plus pertinents pour un token donné, indépendamment de leur position dans la séquence. Plus précisément, Avey dissocie la longueur de la séquence de la largeur du contexte, permettant ainsi un traitement efficace de séquences de longueur arbitraire. Les résultats expérimentaux montrent qu'Avey se compare favorablement au Transformer sur une variété de benchmarks NLP standard à courte portée, tout en excellant particulièrement dans la capture des dépendances à long terme.

English

The Transformer has become the de facto standard for large language models and a wide range of downstream tasks across various domains. Despite its numerous advantages like inherent training parallelism, the Transformer still faces key challenges due to its inability to effectively process sequences beyond a fixed context window and the quadratic complexity of its attention mechanism. These challenges have renewed interest in RNN-like architectures, which offer linear scaling with sequence length and improved handling of long-range dependencies, albeit with limited parallelism due to their inherently recurrent nature. In this paper, we propose Avey, a new neural foundational architecture that breaks away from both attention and recurrence. Avey comprises a ranker and an autoregressive neural processor, which collaboratively identify and contextualize only the most relevant tokens for any given token, regardless of their positions in the sequence. Specifically, Avey decouples sequence length from context width, thus enabling effective processing of arbitrarily long sequences. Experimental results show that Avey compares favorably to the Transformer across a variety of standard short-range NLP benchmarks, while notably excelling at capturing long-range dependencies.