Achten Sie nicht darauf

Don't Pay Attention

June 12, 2025

Autoren: Mohammad Hammoud, Devang Acharya

cs.AI

Zusammenfassung

Der Transformer hat sich zum De-facto-Standard für große Sprachmodelle und eine Vielzahl von nachgelagerten Aufgaben in verschiedenen Domänen entwickelt. Trotz seiner zahlreichen Vorteile, wie der inhärenten Trainingsparallelität, steht der Transformer weiterhin vor zentralen Herausforderungen, da er Sequenzen außerhalb eines festen Kontextfensters nicht effektiv verarbeiten kann und seine Aufmerksamkeitsmechanik eine quadratische Komplexität aufweist. Diese Herausforderungen haben das Interesse an RNN-ähnlichen Architekturen neu entfacht, die eine lineare Skalierung mit der Sequenzlänge und eine verbesserte Handhabung von langreichweitigen Abhängigkeiten bieten, allerdings mit begrenzter Parallelität aufgrund ihrer inhärent rekurrenten Natur. In diesem Artikel stellen wir Avey vor, eine neue neuronale Grundlagenarchitektur, die sich sowohl von der Aufmerksamkeit als auch von der Rekurrenz abwendet. Avey besteht aus einem Ranker und einem autoregressiven neuronalen Prozessor, die gemeinsam nur die relevantesten Tokens für einen gegebenen Token identifizieren und kontextualisieren, unabhängig von deren Position in der Sequenz. Insbesondere entkoppelt Avey die Sequenzlänge von der Kontextbreite und ermöglicht so die effektive Verarbeitung beliebig langer Sequenzen. Experimentelle Ergebnisse zeigen, dass Avey im Vergleich zum Transformer bei einer Vielzahl von Standard-NLP-Benchmarks für kurze Reichweiten gut abschneidet, während es insbesondere bei der Erfassung von langreichweitigen Abhängigkeiten hervorragende Leistungen erbringt.

English

The Transformer has become the de facto standard for large language models and a wide range of downstream tasks across various domains. Despite its numerous advantages like inherent training parallelism, the Transformer still faces key challenges due to its inability to effectively process sequences beyond a fixed context window and the quadratic complexity of its attention mechanism. These challenges have renewed interest in RNN-like architectures, which offer linear scaling with sequence length and improved handling of long-range dependencies, albeit with limited parallelism due to their inherently recurrent nature. In this paper, we propose Avey, a new neural foundational architecture that breaks away from both attention and recurrence. Avey comprises a ranker and an autoregressive neural processor, which collaboratively identify and contextualize only the most relevant tokens for any given token, regardless of their positions in the sequence. Specifically, Avey decouples sequence length from context width, thus enabling effective processing of arbitrarily long sequences. Experimental results show that Avey compares favorably to the Transformer across a variety of standard short-range NLP benchmarks, while notably excelling at capturing long-range dependencies.