Сложность символьного представления в рабочей памяти трансформера коррелирует с сложностью задачи.

Complexity of Symbolic Representation in Working Memory of Transformer Correlates with the Complexity of a Task

June 20, 2024

Авторы: Alsu Sagirova, Mikhail Burtsev

cs.AI

Аннотация

Несмотря на то, что Трансформеры широко используются для задач обработки естественного языка, особенно для машинного перевода, им не хватает явной памяти для хранения ключевых концепций обработанных текстов. В данной статье исследуются свойства содержания символической рабочей памяти, добавленной к декодеру модели Трансформера. Такая рабочая память улучшает качество прогнозов модели в задаче машинного перевода и действует как нейросимволическое представление информации, которое важно для модели для выполнения правильных переводов. Изучение содержания памяти показало, что ключевые слова переведенного текста хранятся в рабочей памяти, указывая на значимость содержания памяти для обработанного текста. Кроме того, разнообразие токенов и частей речи, хранящихся в памяти, коррелирует с сложностью корпусов для задачи машинного перевода.

English

Even though Transformers are extensively used for Natural Language Processing tasks, especially for machine translation, they lack an explicit memory to store key concepts of processed texts. This paper explores the properties of the content of symbolic working memory added to the Transformer model decoder. Such working memory enhances the quality of model predictions in machine translation task and works as a neural-symbolic representation of information that is important for the model to make correct translations. The study of memory content revealed that translated text keywords are stored in the working memory, pointing to the relevance of memory content to the processed text. Also, the diversity of tokens and parts of speech stored in memory correlates with the complexity of the corpora for machine translation task.