작업 기억에서 트랜스포머의 기호적 표현 복잡성은 과제의 복잡성과 상관관계를 가짐

Complexity of Symbolic Representation in Working Memory of Transformer Correlates with the Complexity of a Task

June 20, 2024

저자: Alsu Sagirova, Mikhail Burtsev

cs.AI

초록

트랜스포머(Transformer)는 자연어 처리 작업, 특히 기계 번역에 광범위하게 사용되고 있지만, 처리된 텍스트의 핵심 개념을 저장할 명시적인 메모리가 부족합니다. 본 논문은 트랜스포머 모델 디코더에 추가된 기호적 작업 메모리의 내용 속성을 탐구합니다. 이러한 작업 메모리는 기계 번역 작업에서 모델 예측의 품질을 향상시키며, 모델이 올바른 번역을 수행하는 데 중요한 정보의 신경-기호적 표현으로 작동합니다. 메모리 내용에 대한 연구는 번역된 텍스트의 키워드가 작업 메모리에 저장되어 있음을 보여주며, 이는 메모리 내용이 처리된 텍스트와 관련성이 있음을 시사합니다. 또한, 메모리에 저장된 토큰과 품사의 다양성은 기계 번역 작업을 위한 코퍼스의 복잡성과 상관관계가 있습니다.

English

Even though Transformers are extensively used for Natural Language Processing tasks, especially for machine translation, they lack an explicit memory to store key concepts of processed texts. This paper explores the properties of the content of symbolic working memory added to the Transformer model decoder. Such working memory enhances the quality of model predictions in machine translation task and works as a neural-symbolic representation of information that is important for the model to make correct translations. The study of memory content revealed that translated text keywords are stored in the working memory, pointing to the relevance of memory content to the processed text. Also, the diversity of tokens and parts of speech stored in memory correlates with the complexity of the corpora for machine translation task.