Scalabilità Efficace del Contesto Esteso nei Modelli di Base

Abstract

Presentiamo una serie di LLM a contesto lungo che supportano finestre di contesto efficaci fino a 32.768 token. La nostra serie di modelli è stata costruita attraverso un pretraining continuo a partire da Llama 2, utilizzando sequenze di addestramento più lunghe e su un dataset in cui i testi lunghi sono sovracampionati. Eseguiamo una valutazione estensiva sul modeling linguistico, su task di probing sintetico del contesto e su un'ampia gamma di benchmark di ricerca. Sui benchmark di ricerca, i nostri modelli ottengono miglioramenti consistenti sulla maggior parte dei task regolari e miglioramenti significativi sui task a contesto lungo rispetto a Llama 2. In particolare, con una procedura di instruction tuning economicamente vantaggiosa che non richiede dati di istruzioni lunghe annotati manualmente, la variante da 70B può già superare le prestazioni complessive di gpt-3.5-turbo-16k su una serie di task a contesto lungo. Accanto a questi risultati, forniamo un'analisi approfondita dei singoli componenti del nostro metodo. Approfondiamo le codifiche posizionali di Llama e discutiamo i suoi limiti nella modellazione di dipendenze lunghe. Esaminiamo inoltre l'impatto di varie scelte progettuali nel processo di pretraining, inclusa la miscela di dati e il curriculum di addestramento delle lunghezze delle sequenze — i nostri esperimenti di ablazione suggeriscono che avere abbondanti testi lunghi nel dataset di pretraining non è la chiave per ottenere prestazioni forti, e verifichiamo empiricamente che il pretraining continuo a contesto lungo è più efficiente e altrettanto efficace rispetto al pretraining da zero con sequenze lunghe.

English

We present a series of long-context LLMs that support effective context windows of up to 32,768 tokens. Our model series are built through continual pretraining from Llama 2 with longer training sequences and on a dataset where long texts are upsampled. We perform extensive evaluation on language modeling, synthetic context probing tasks, and a wide range of research benchmarks. On research benchmarks, our models achieve consistent improvements on most regular tasks and significant improvements on long-context tasks over Llama 2. Notably, with a cost-effective instruction tuning procedure that does not require human-annotated long instruction data, the 70B variant can already surpass gpt-3.5-turbo-16k's overall performance on a suite of long-context tasks. Alongside these results, we provide an in-depth analysis on the individual components of our method. We delve into Llama's position encodings and discuss its limitation in modeling long dependencies. We also examine the impact of various design choices in the pretraining process, including the data mix and the training curriculum of sequence lengths -- our ablation experiments suggest that having abundant long texts in the pretrain dataset is not the key to achieving strong performance, and we empirically verify that long context continual pretraining is more efficient and similarly effective compared to pretraining from scratch with long sequences.

Scalabilità Efficace del Contesto Esteso nei Modelli di Base

Effective Long-Context Scaling of Foundation Models

Abstract

Support