Complexidade da Representação Simbólica na Memória de Trabalho do Transformer Correlaciona-se com a Complexidade de uma Tarefa
Complexity of Symbolic Representation in Working Memory of Transformer Correlates with the Complexity of a Task
June 20, 2024
Autores: Alsu Sagirova, Mikhail Burtsev
cs.AI
Resumo
Embora os Transformers sejam amplamente utilizados para tarefas de Processamento de Linguagem Natural, especialmente para tradução automática, eles carecem de uma memória explícita para armazenar conceitos-chave dos textos processados. Este artigo explora as propriedades do conteúdo da memória de trabalho simbólica adicionada ao decodificador do modelo Transformer. Essa memória de trabalho aprimora a qualidade das previsões do modelo na tarefa de tradução automática e funciona como uma representação neural-simbólica das informações importantes para o modelo realizar traduções corretas. O estudo do conteúdo da memória revelou que palavras-chave do texto traduzido são armazenadas na memória de trabalho, indicando a relevância do conteúdo da memória para o texto processado. Além disso, a diversidade de tokens e partes do discurso armazenadas na memória correlaciona-se com a complexidade dos corpora para a tarefa de tradução automática.
English
Even though Transformers are extensively used for Natural Language Processing
tasks, especially for machine translation, they lack an explicit memory to
store key concepts of processed texts. This paper explores the properties of
the content of symbolic working memory added to the Transformer model decoder.
Such working memory enhances the quality of model predictions in machine
translation task and works as a neural-symbolic representation of information
that is important for the model to make correct translations. The study of
memory content revealed that translated text keywords are stored in the working
memory, pointing to the relevance of memory content to the processed text.
Also, the diversity of tokens and parts of speech stored in memory correlates
with the complexity of the corpora for machine translation task.