De complexiteit van symbolische representatie in het werkgeheugen van een transformer correleert met de complexiteit van een taak.
Complexity of Symbolic Representation in Working Memory of Transformer Correlates with the Complexity of a Task
June 20, 2024
Auteurs: Alsu Sagirova, Mikhail Burtsev
cs.AI
Samenvatting
Hoewel Transformers uitgebreid worden gebruikt voor taken binnen Natural Language Processing, met name voor machinaal vertalen, beschikken ze niet over een expliciet geheugen om sleutelconcepten van verwerkte teksten op te slaan. Dit artikel onderzoekt de eigenschappen van de inhoud van symbolisch werkgeheugen dat aan de decoder van het Transformermodel is toegevoegd. Dergelijk werkgeheugen verbetert de kwaliteit van modelvoorspellingen bij machinaal vertalen en fungeert als een neuraal-symbolische representatie van informatie die belangrijk is voor het model om correcte vertalingen te maken. De studie van de geheugeninhoud toonde aan dat sleutelwoorden van de vertaalde tekst in het werkgeheugen worden opgeslagen, wat wijst op de relevantie van de geheugeninhoud voor de verwerkte tekst. Bovendien correleert de diversiteit van tokens en woordsoorten die in het geheugen zijn opgeslagen met de complexiteit van de corpora voor de taak van machinaal vertalen.
English
Even though Transformers are extensively used for Natural Language Processing
tasks, especially for machine translation, they lack an explicit memory to
store key concepts of processed texts. This paper explores the properties of
the content of symbolic working memory added to the Transformer model decoder.
Such working memory enhances the quality of model predictions in machine
translation task and works as a neural-symbolic representation of information
that is important for the model to make correct translations. The study of
memory content revealed that translated text keywords are stored in the working
memory, pointing to the relevance of memory content to the processed text.
Also, the diversity of tokens and parts of speech stored in memory correlates
with the complexity of the corpora for machine translation task.