TransformerFAM: 피드백 어텐션은 작업 기억으로 작동한다

TransformerFAM: Feedback attention is working memory

April 14, 2024

저자: Dongseong Hwang, Weiran Wang, Zhuoyuan Huo, Khe Chai Sim, Pedro Moreno Mengibar

cs.AI

초록

트랜스포머는 딥러닝 분야를 혁신적으로 변화시켰지만, 이차원적 어텐션 복잡도로 인해 무한히 긴 입력을 처리하는 데 한계가 있습니다. 본 연구에서는 피드백 루프를 활용하여 네트워크가 자신의 잠재 표현에 주의를 기울일 수 있도록 하는 새로운 트랜스포머 아키텍처인 피드백 어텐션 메모리(FAM)를 제안합니다. 이 설계는 트랜스포머 내에서 워킹 메모리의 출현을 촉진하여 무한히 긴 시퀀스를 처리할 수 있게 합니다. TransformerFAM은 추가적인 가중치가 필요하지 않아 사전 훈련된 모델과의 원활한 통합이 가능합니다. 실험 결과, TransformerFAM은 다양한 모델 크기(1B, 8B, 24B)에서 장문 컨텍스트 작업에 대한 트랜스포머의 성능을 크게 향상시켰습니다. 이러한 결과는 대규모 언어 모델(LLM)이 무제한 길이의 시퀀스를 처리할 수 있도록 하는 잠재력을 보여줍니다.

English

While Transformers have revolutionized deep learning, their quadratic attention complexity hinders their ability to process infinitely long inputs. We propose Feedback Attention Memory (FAM), a novel Transformer architecture that leverages a feedback loop to enable the network to attend to its own latent representations. This design fosters the emergence of working memory within the Transformer, allowing it to process indefinitely long sequences. TransformerFAM requires no additional weights, enabling seamless integration with pre-trained models. Our experiments show that TransformerFAM significantly improves Transformer performance on long-context tasks across various model sizes (1B, 8B, and 24B). These results showcase the potential to empower Large Language Models (LLMs) to process sequences of unlimited length.