Réseau Rétentif : Un Successeur du Transformer pour les Grands Modèles de Langage

Retentive Network: A Successor to Transformer for Large Language Models

July 17, 2023

Auteurs: Yutao Sun, Li Dong, Shaohan Huang, Shuming Ma, Yuqing Xia, Jilong Xue, Jianyong Wang, Furu Wei

cs.AI

Résumé

Dans ce travail, nous proposons Retentive Network (RetNet) comme architecture de base pour les grands modèles de langage, permettant simultanément un parallélisme d'entraînement, une inférence à faible coût et de bonnes performances. Nous dérivons théoriquement le lien entre la récurrence et l'attention. Ensuite, nous proposons le mécanisme de rétention pour la modélisation de séquences, qui prend en charge trois paradigmes de calcul, à savoir parallèle, récurrent et récurrent par morceaux. Plus précisément, la représentation parallèle permet un entraînement parallèle. La représentation récurrente permet une inférence à faible coût en O(1), ce qui améliore le débit de décodage, la latence et l'utilisation de la mémoire GPU sans sacrifier les performances. La représentation récurrente par morceaux facilite une modélisation efficace des longues séquences avec une complexité linéaire, où chaque morceau est encodé en parallèle tout en résumant récursivement les morceaux. Les résultats expérimentaux sur la modélisation du langage montrent que RetNet obtient des résultats de mise à l'échelle favorables, un entraînement parallèle, un déploiement à faible coût et une inférence efficace. Ces propriétés intrigantes font de RetNet un successeur prometteur du Transformer pour les grands modèles de langage. Le code sera disponible à l'adresse https://aka.ms/retnet.

English

In this work, we propose Retentive Network (RetNet) as a foundation architecture for large language models, simultaneously achieving training parallelism, low-cost inference, and good performance. We theoretically derive the connection between recurrence and attention. Then we propose the retention mechanism for sequence modeling, which supports three computation paradigms, i.e., parallel, recurrent, and chunkwise recurrent. Specifically, the parallel representation allows for training parallelism. The recurrent representation enables low-cost O(1) inference, which improves decoding throughput, latency, and GPU memory without sacrificing performance. The chunkwise recurrent representation facilitates efficient long-sequence modeling with linear complexity, where each chunk is encoded parallelly while recurrently summarizing the chunks. Experimental results on language modeling show that RetNet achieves favorable scaling results, parallel training, low-cost deployment, and efficient inference. The intriguing properties make RetNet a strong successor to Transformer for large language models. Code will be available at https://aka.ms/retnet.