Die Komplexität der symbolischen Repräsentation im Arbeitsgedächtnis des Transformers korreliert mit der Komplexität einer Aufgabe.

Complexity of Symbolic Representation in Working Memory of Transformer Correlates with the Complexity of a Task

June 20, 2024

Autoren: Alsu Sagirova, Mikhail Burtsev

cs.AI

Zusammenfassung

Obwohl Transformers umfangreich für Natural Language Processing Aufgaben eingesetzt werden, insbesondere für maschinelle Übersetzungen, fehlt es ihnen an einem expliziten Speicher, um Schlüsselkonzepte der verarbeiteten Texte zu speichern. Diese Arbeit untersucht die Eigenschaften des Inhalts des symbolischen Arbeitsgedächtnisses, das dem Decoder des Transformer-Modells hinzugefügt wurde. Ein solches Arbeitsgedächtnis verbessert die Qualität der Modellvorhersagen in der maschinellen Übersetzungsaufgabe und fungiert als neuronale-symbolische Repräsentation von Informationen, die für das Modell wichtig sind, um korrekte Übersetzungen zu erstellen. Die Untersuchung des Speicherinhalts ergab, dass Schlüsselwörter des übersetzten Textes im Arbeitsgedächtnis gespeichert sind, was auf die Relevanz des Speicherinhalts für den verarbeiteten Text hinweist. Außerdem korreliert die Vielfalt der Token und Wortarten, die im Gedächtnis gespeichert sind, mit der Komplexität der Korpora für die maschinelle Übersetzungsaufgabe.

English

Even though Transformers are extensively used for Natural Language Processing tasks, especially for machine translation, they lack an explicit memory to store key concepts of processed texts. This paper explores the properties of the content of symbolic working memory added to the Transformer model decoder. Such working memory enhances the quality of model predictions in machine translation task and works as a neural-symbolic representation of information that is important for the model to make correct translations. The study of memory content revealed that translated text keywords are stored in the working memory, pointing to the relevance of memory content to the processed text. Also, the diversity of tokens and parts of speech stored in memory correlates with the complexity of the corpora for machine translation task.