LongNet: Skalierung von Transformern auf 1.000.000.000 Tokens

LongNet: Scaling Transformers to 1,000,000,000 Tokens

July 5, 2023

Autoren: Jiayu Ding, Shuming Ma, Li Dong, Xingxing Zhang, Shaohan Huang, Wenhui Wang, Furu Wei

cs.AI

Zusammenfassung

Die Skalierung der Sequenzlänge ist in der Ära der großen Sprachmodelle zu einer entscheidenden Anforderung geworden. Allerdings kämpfen bestehende Methoden entweder mit der Rechenkomplexität oder der Modellausdrucksfähigkeit, wodurch die maximale Sequenzlänge eingeschränkt bleibt. In dieser Arbeit stellen wir LongNet vor, eine Transformer-Variante, die die Sequenzlänge auf über 1 Milliarde Tokens skalieren kann, ohne die Leistung bei kürzeren Sequenzen zu beeinträchtigen. Konkret schlagen wir die dilatierte Aufmerksamkeit vor, die das Aufmerksamkeitsfeld exponentiell mit wachsendem Abstand erweitert. LongNet bietet signifikante Vorteile: 1) Es weist eine lineare Rechenkomplexität und eine logarithmische Abhängigkeit zwischen den Tokens auf; 2) Es kann als verteilter Trainer für extrem lange Sequenzen dienen; 3) Seine dilatierte Aufmerksamkeit ist ein direkter Ersatz für die Standardaufmerksamkeit, der nahtlos in die bestehende Transformer-basierte Optimierung integriert werden kann. Experimentelle Ergebnisse zeigen, dass LongNet sowohl bei der Modellierung langer Sequenzen als auch bei allgemeinen Sprachaufgaben eine starke Leistung erzielt. Unsere Arbeit eröffnet neue Möglichkeiten für die Modellierung sehr langer Sequenzen, z. B. die Behandlung eines gesamten Korpus oder sogar des gesamten Internets als eine Sequenz.

English

Scaling sequence length has become a critical demand in the era of large language models. However, existing methods struggle with either computational complexity or model expressivity, rendering the maximum sequence length restricted. In this work, we introduce LongNet, a Transformer variant that can scale sequence length to more than 1 billion tokens, without sacrificing the performance on shorter sequences. Specifically, we propose dilated attention, which expands the attentive field exponentially as the distance grows. LongNet has significant advantages: 1) it has a linear computation complexity and a logarithm dependency between tokens; 2) it can be served as a distributed trainer for extremely long sequences; 3) its dilated attention is a drop-in replacement for standard attention, which can be seamlessly integrated with the existing Transformer-based optimization. Experiments results demonstrate that LongNet yields strong performance on both long-sequence modeling and general language tasks. Our work opens up new possibilities for modeling very long sequences, e.g., treating a whole corpus or even the entire Internet as a sequence.