Retentive Network: Um Sucessor do Transformer para Modelos de Linguagem de Grande Escala

Retentive Network: A Successor to Transformer for Large Language Models

July 17, 2023

Autores: Yutao Sun, Li Dong, Shaohan Huang, Shuming Ma, Yuqing Xia, Jilong Xue, Jianyong Wang, Furu Wei

cs.AI

Resumo

Neste trabalho, propomos a Rede Retentiva (RetNet) como uma arquitetura fundamental para modelos de linguagem de grande escala, alcançando simultaneamente paralelismo de treinamento, inferência de baixo custo e bom desempenho. Derivamos teoricamente a conexão entre recorrência e atenção. Em seguida, propomos o mecanismo de retenção para modelagem de sequências, que suporta três paradigmas de computação: paralelo, recorrente e recorrente por blocos. Especificamente, a representação paralela permite o paralelismo de treinamento. A representação recorrente possibilita inferência de baixo custo O(1), o que melhora a taxa de decodificação, latência e uso de memória da GPU sem sacrificar o desempenho. A representação recorrente por blocos facilita a modelagem eficiente de sequências longas com complexidade linear, onde cada bloco é codificado em paralelo enquanto os blocos são resumidos de forma recorrente. Resultados experimentais em modelagem de linguagem mostram que a RetNet alcança resultados favoráveis de escalabilidade, treinamento paralelo, implantação de baixo custo e inferência eficiente. As propriedades intrigantes fazem da RetNet uma forte sucessora do Transformer para modelos de linguagem de grande escala. O código estará disponível em https://aka.ms/retnet.

English

In this work, we propose Retentive Network (RetNet) as a foundation architecture for large language models, simultaneously achieving training parallelism, low-cost inference, and good performance. We theoretically derive the connection between recurrence and attention. Then we propose the retention mechanism for sequence modeling, which supports three computation paradigms, i.e., parallel, recurrent, and chunkwise recurrent. Specifically, the parallel representation allows for training parallelism. The recurrent representation enables low-cost O(1) inference, which improves decoding throughput, latency, and GPU memory without sacrificing performance. The chunkwise recurrent representation facilitates efficient long-sequence modeling with linear complexity, where each chunk is encoded parallelly while recurrently summarizing the chunks. Experimental results on language modeling show that RetNet achieves favorable scaling results, parallel training, low-cost deployment, and efficient inference. The intriguing properties make RetNet a strong successor to Transformer for large language models. Code will be available at https://aka.ms/retnet.