LongNet: Escalonando Transformers para 1.000.000.000 de Tokens

LongNet: Scaling Transformers to 1,000,000,000 Tokens

July 5, 2023

Autores: Jiayu Ding, Shuming Ma, Li Dong, Xingxing Zhang, Shaohan Huang, Wenhui Wang, Furu Wei

cs.AI

Resumo

A escalabilidade do comprimento de sequência tornou-se uma demanda crítica na era dos grandes modelos de linguagem. No entanto, os métodos existentes enfrentam dificuldades com a complexidade computacional ou a expressividade do modelo, limitando o comprimento máximo da sequência. Neste trabalho, apresentamos o LongNet, uma variante do Transformer que pode escalar o comprimento da sequência para mais de 1 bilhão de tokens, sem sacrificar o desempenho em sequências mais curtas. Especificamente, propomos a atenção dilatada, que expande o campo de atenção exponencialmente à medida que a distância aumenta. O LongNet apresenta vantagens significativas: 1) possui complexidade computacional linear e uma dependência logarítmica entre os tokens; 2) pode ser utilizado como um treinador distribuído para sequências extremamente longas; 3) sua atenção dilatada é uma substituição direta para a atenção padrão, podendo ser integrada de forma contínua com as otimizações baseadas em Transformer existentes. Os resultados dos experimentos demonstram que o LongNet oferece um forte desempenho tanto na modelagem de sequências longas quanto em tarefas gerais de linguagem. Nosso trabalho abre novas possibilidades para a modelagem de sequências muito longas, por exemplo, tratando um corpus inteiro ou até mesmo toda a Internet como uma sequência.

English

Scaling sequence length has become a critical demand in the era of large language models. However, existing methods struggle with either computational complexity or model expressivity, rendering the maximum sequence length restricted. In this work, we introduce LongNet, a Transformer variant that can scale sequence length to more than 1 billion tokens, without sacrificing the performance on shorter sequences. Specifically, we propose dilated attention, which expands the attentive field exponentially as the distance grows. LongNet has significant advantages: 1) it has a linear computation complexity and a logarithm dependency between tokens; 2) it can be served as a distributed trainer for extremely long sequences; 3) its dilated attention is a drop-in replacement for standard attention, which can be seamlessly integrated with the existing Transformer-based optimization. Experiments results demonstrate that LongNet yields strong performance on both long-sequence modeling and general language tasks. Our work opens up new possibilities for modeling very long sequences, e.g., treating a whole corpus or even the entire Internet as a sequence.