Effektive Skalierung von Foundation Models für lange Kontexte

papers.abstract

Wir präsentieren eine Reihe von LLMs mit langem Kontext, die effektive Kontextfenster von bis zu 32.768 Tokens unterstützen. Unsere Modellreihe wurde durch kontinuierliches Vortraining von Llama 2 mit längeren Trainingssequenzen und auf einem Datensatz aufgebaut, in dem lange Texte verstärkt berücksichtigt werden. Wir führen umfangreiche Evaluierungen in den Bereichen Sprachmodellierung, synthetische Kontextuntersuchungsaufgaben und einer Vielzahl von Forschungsbenchmarks durch. Bei den Forschungsbenchmarks erzielen unsere Modelle durchweg Verbesserungen bei den meisten regulären Aufgaben und signifikante Verbesserungen bei Aufgaben mit langem Kontext im Vergleich zu Llama 2. Bemerkenswerterweise kann die 70B-Variante bereits die Gesamtleistung von gpt-3.5-turbo-16k bei einer Reihe von Aufgaben mit langem Kontext übertreffen, und dies mit einem kosteneffizienten Instruction-Tuning-Verfahren, das keine von Menschen annotierten langen Instruktionsdaten erfordert. Neben diesen Ergebnissen bieten wir eine detaillierte Analyse der einzelnen Komponenten unserer Methode. Wir untersuchen die Positionskodierungen von Llama und diskutieren deren Grenzen bei der Modellierung langer Abhängigkeiten. Wir analysieren auch die Auswirkungen verschiedener Designentscheidungen im Vortrainingsprozess, einschließlich der Datenzusammensetzung und des Trainingscurriculums für Sequenzlängen – unsere Ablationsexperimente deuten darauf hin, dass das Vorhandensein einer Fülle langer Texte im Vortrainingsdatensatz nicht der Schlüssel zur Erzielung einer starken Leistung ist, und wir bestätigen empirisch, dass das kontinuierliche Vortraining mit langem Kontext effizienter und ähnlich effektiv ist im Vergleich zum Vortraining von Grund auf mit langen Sequenzen.

English

We present a series of long-context LLMs that support effective context windows of up to 32,768 tokens. Our model series are built through continual pretraining from Llama 2 with longer training sequences and on a dataset where long texts are upsampled. We perform extensive evaluation on language modeling, synthetic context probing tasks, and a wide range of research benchmarks. On research benchmarks, our models achieve consistent improvements on most regular tasks and significant improvements on long-context tasks over Llama 2. Notably, with a cost-effective instruction tuning procedure that does not require human-annotated long instruction data, the 70B variant can already surpass gpt-3.5-turbo-16k's overall performance on a suite of long-context tasks. Alongside these results, we provide an in-depth analysis on the individual components of our method. We delve into Llama's position encodings and discuss its limitation in modeling long dependencies. We also examine the impact of various design choices in the pretraining process, including the data mix and the training curriculum of sequence lengths -- our ablation experiments suggest that having abundant long texts in the pretrain dataset is not the key to achieving strong performance, and we empirically verify that long context continual pretraining is more efficient and similarly effective compared to pretraining from scratch with long sequences.

Effektive Skalierung von Foundation Models für lange Kontexte

Effective Long-Context Scaling of Foundation Models

papers.abstract

Support