タスクの複雑性と相関するトランスフォーマーのワーキングメモリにおけるシンボリック表現の複雑性

Complexity of Symbolic Representation in Working Memory of Transformer Correlates with the Complexity of a Task

June 20, 2024

著者: Alsu Sagirova, Mikhail Burtsev

cs.AI

要旨

Transformerは自然言語処理タスク、特に機械翻訳において広く使用されているが、処理されたテキストの重要な概念を保存する明示的なメモリを欠いている。本論文では、Transformerモデルのデコーダに追加された記号的ワーキングメモリの内容特性を探求する。このワーキングメモリは、機械翻訳タスクにおけるモデルの予測品質を向上させ、モデルが正しい翻訳を行うために重要な情報のニューラル・シンボリック表現として機能する。メモリ内容の研究により、翻訳されたテキストのキーワードがワーキングメモリに保存されていることが明らかになり、メモリ内容が処理されたテキストに関連していることが示された。また、メモリに保存されたトークンと品詞の多様性は、機械翻訳タスクのコーパスの複雑さと相関している。

English

Even though Transformers are extensively used for Natural Language Processing tasks, especially for machine translation, they lack an explicit memory to store key concepts of processed texts. This paper explores the properties of the content of symbolic working memory added to the Transformer model decoder. Such working memory enhances the quality of model predictions in machine translation task and works as a neural-symbolic representation of information that is important for the model to make correct translations. The study of memory content revealed that translated text keywords are stored in the working memory, pointing to the relevance of memory content to the processed text. Also, the diversity of tokens and parts of speech stored in memory correlates with the complexity of the corpora for machine translation task.