Let Op Niet

Samenvatting

De Transformer is de facto standaard geworden voor grote taalmodelen en een breed scala aan downstream taken in verschillende domeinen. Ondanks zijn talrijke voordelen, zoals inherente trainingsparallelisatie, kampt de Transformer nog steeds met belangrijke uitdagingen vanwege zijn onvermogen om sequenties effectief te verwerken buiten een vast contextvenster en de kwadratische complexiteit van zijn aandachtmechanisme. Deze uitdagingen hebben de interesse in RNN-achtige architecturen nieuw leven ingeblazen, die lineaire schaling bieden met sequentielengte en een verbeterde verwerking van langeafstandsafhankelijkheden, zij het met beperkte parallelisatie vanwege hun inherent recurrente aard. In dit artikel stellen we Avey voor, een nieuw neuraal fundamenteel architectuur dat afwijkt van zowel aandacht als recurrentie. Avey bestaat uit een ranker en een autoregressieve neurale processor, die gezamenlijk alleen de meest relevante tokens identificeren en contextualiseren voor elk gegeven token, ongeacht hun posities in de sequentie. Specifiek ontkoppelt Avey sequentielengte van contextbreedte, waardoor effectieve verwerking van willekeurig lange sequenties mogelijk wordt. Experimentele resultaten tonen aan dat Avey gunstig afsteekt tegen de Transformer over een verscheidenheid aan standaard kortetermijn NLP-benchmarks, terwijl het opvallend uitblinkt in het vastleggen van langeafstandsafhankelijkheden.

English

The Transformer has become the de facto standard for large language models and a wide range of downstream tasks across various domains. Despite its numerous advantages like inherent training parallelism, the Transformer still faces key challenges due to its inability to effectively process sequences beyond a fixed context window and the quadratic complexity of its attention mechanism. These challenges have renewed interest in RNN-like architectures, which offer linear scaling with sequence length and improved handling of long-range dependencies, albeit with limited parallelism due to their inherently recurrent nature. In this paper, we propose Avey, a new neural foundational architecture that breaks away from both attention and recurrence. Avey comprises a ranker and an autoregressive neural processor, which collaboratively identify and contextualize only the most relevant tokens for any given token, regardless of their positions in the sequence. Specifically, Avey decouples sequence length from context width, thus enabling effective processing of arbitrarily long sequences. Experimental results show that Avey compares favorably to the Transformer across a variety of standard short-range NLP benchmarks, while notably excelling at capturing long-range dependencies.

Let Op Niet

Don't Pay Attention

Samenvatting

Support