Retentive Netzwerk: Ein Nachfolger des Transformers für große Sprachmodelle

Retentive Network: A Successor to Transformer for Large Language Models

July 17, 2023

Autoren: Yutao Sun, Li Dong, Shaohan Huang, Shuming Ma, Yuqing Xia, Jilong Xue, Jianyong Wang, Furu Wei

cs.AI

Zusammenfassung

In dieser Arbeit schlagen wir Retentive Network (RetNet) als Grundarchitektur für große Sprachmodelle vor, die gleichzeitig Trainingsparallelismus, kostengünstige Inferenz und gute Leistung erreicht. Wir leiten theoretisch die Verbindung zwischen Rekurrenz und Aufmerksamkeit her. Anschließend schlagen wir den Retention-Mechanismus für die Sequenzmodellierung vor, der drei Berechnungsparadigmen unterstützt: parallel, rekursiv und chunkweise rekursiv. Insbesondere ermöglicht die parallele Darstellung den Trainingsparallelismus. Die rekursive Darstellung ermöglicht eine kostengünstige O(1)-Inferenz, die den Dekodierungsdurchsatz, die Latenz und den GPU-Speicher verbessert, ohne die Leistung zu beeinträchtigen. Die chunkweise rekursive Darstellung erleichtert die effiziente Modellierung langer Sequenzen mit linearer Komplexität, wobei jeder Chunk parallel kodiert wird, während die Chunks rekursiv zusammengefasst werden. Experimentelle Ergebnisse zur Sprachmodellierung zeigen, dass RetNet günstige Skalierungsergebnisse, paralleles Training, kostengünstige Bereitstellung und effiziente Inferenz erzielt. Diese faszinierenden Eigenschaften machen RetNet zu einem starken Nachfolger des Transformers für große Sprachmodelle. Der Code wird unter https://aka.ms/retnet verfügbar sein.

English

In this work, we propose Retentive Network (RetNet) as a foundation architecture for large language models, simultaneously achieving training parallelism, low-cost inference, and good performance. We theoretically derive the connection between recurrence and attention. Then we propose the retention mechanism for sequence modeling, which supports three computation paradigms, i.e., parallel, recurrent, and chunkwise recurrent. Specifically, the parallel representation allows for training parallelism. The recurrent representation enables low-cost O(1) inference, which improves decoding throughput, latency, and GPU memory without sacrificing performance. The chunkwise recurrent representation facilitates efficient long-sequence modeling with linear complexity, where each chunk is encoded parallelly while recurrently summarizing the chunks. Experimental results on language modeling show that RetNet achieves favorable scaling results, parallel training, low-cost deployment, and efficient inference. The intriguing properties make RetNet a strong successor to Transformer for large language models. Code will be available at https://aka.ms/retnet.