Не обращайте внимания

Don't Pay Attention

June 12, 2025

Авторы: Mohammad Hammoud, Devang Acharya

cs.AI

Аннотация

Трансформер стал де-факто стандартом для крупных языковых моделей и широкого спектра задач в различных областях. Несмотря на свои многочисленные преимущества, такие как присущий параллелизм при обучении, Трансформер всё ещё сталкивается с ключевыми проблемами из-за неспособности эффективно обрабатывать последовательности, выходящие за пределы фиксированного контекстного окна, и квадратичной сложности механизма внимания. Эти проблемы возродили интерес к архитектурам, подобным рекуррентным нейронным сетям (RNN), которые предлагают линейное масштабирование с длиной последовательности и улучшенное управление долгосрочными зависимостями, хотя и с ограниченным параллелизмом из-за их присущей рекуррентной природы. В данной статье мы предлагаем Avey, новую нейронную фундаментальную архитектуру, которая отходит как от внимания, так и от рекуррентности. Avey состоит из ранкера и авторегрессивного нейронного процессора, которые совместно идентифицируют и контекстуализируют только наиболее релевантные токены для любого заданного токена, независимо от их позиций в последовательности. В частности, Avey разделяет длину последовательности и ширину контекста, что позволяет эффективно обрабатывать произвольно длинные последовательности. Экспериментальные результаты показывают, что Avey превосходит Трансформер на различных стандартных краткосрочных NLP-бенчмарках, при этом особенно выделяясь в захвате долгосрочных зависимостей.

English

The Transformer has become the de facto standard for large language models and a wide range of downstream tasks across various domains. Despite its numerous advantages like inherent training parallelism, the Transformer still faces key challenges due to its inability to effectively process sequences beyond a fixed context window and the quadratic complexity of its attention mechanism. These challenges have renewed interest in RNN-like architectures, which offer linear scaling with sequence length and improved handling of long-range dependencies, albeit with limited parallelism due to their inherently recurrent nature. In this paper, we propose Avey, a new neural foundational architecture that breaks away from both attention and recurrence. Avey comprises a ranker and an autoregressive neural processor, which collaboratively identify and contextualize only the most relevant tokens for any given token, regardless of their positions in the sequence. Specifically, Avey decouples sequence length from context width, thus enabling effective processing of arbitrarily long sequences. Experimental results show that Avey compares favorably to the Transformer across a variety of standard short-range NLP benchmarks, while notably excelling at capturing long-range dependencies.