La complejidad de la representación simbólica en la memoria de trabajo del Transformer se correlaciona con la complejidad de una tarea

Complexity of Symbolic Representation in Working Memory of Transformer Correlates with the Complexity of a Task

June 20, 2024

Autores: Alsu Sagirova, Mikhail Burtsev

cs.AI

Resumen

Aunque los Transformers se utilizan ampliamente para tareas de Procesamiento del Lenguaje Natural, especialmente en traducción automática, carecen de una memoria explícita para almacenar conceptos clave de los textos procesados. Este artículo explora las propiedades del contenido de la memoria de trabajo simbólica añadida al decodificador del modelo Transformer. Dicha memoria de trabajo mejora la calidad de las predicciones del modelo en tareas de traducción automática y funciona como una representación neuro-simbólica de la información que es importante para que el modelo realice traducciones correctas. El estudio del contenido de la memoria reveló que las palabras clave del texto traducido se almacenan en la memoria de trabajo, lo que señala la relevancia del contenido de la memoria respecto al texto procesado. Además, la diversidad de tokens y partes del discurso almacenados en la memoria se correlaciona con la complejidad de los corpus utilizados en la tarea de traducción automática.

English

Even though Transformers are extensively used for Natural Language Processing tasks, especially for machine translation, they lack an explicit memory to store key concepts of processed texts. This paper explores the properties of the content of symbolic working memory added to the Transformer model decoder. Such working memory enhances the quality of model predictions in machine translation task and works as a neural-symbolic representation of information that is important for the model to make correct translations. The study of memory content revealed that translated text keywords are stored in the working memory, pointing to the relevance of memory content to the processed text. Also, the diversity of tokens and parts of speech stored in memory correlates with the complexity of the corpora for machine translation task.