Mise à l'échelle efficace des modèles de base pour des contextes longs

papers.abstract

Nous présentons une série de modèles de langage à contexte étendu (LLMs) prenant en charge des fenêtres de contexte efficaces allant jusqu'à 32 768 tokens. Notre série de modèles est construite par un pré-entraînement continu à partir de Llama 2, avec des séquences d'entraînement plus longues et sur un jeu de données où les textes longs sont suréchantillonnés. Nous effectuons une évaluation approfondie sur la modélisation du langage, des tâches de sondage de contexte synthétique et une large gamme de benchmarks de recherche. Sur ces benchmarks, nos modèles obtiennent des améliorations constantes sur la plupart des tâches régulières et des améliorations significatives sur les tâches à contexte étendu par rapport à Llama 2. Notamment, grâce à une procédure d'ajustement par instruction économique ne nécessitant pas de données d'instructions longues annotées par des humains, la variante 70B dépasse déjà les performances globales de gpt-3.5-turbo-16k sur une série de tâches à contexte étendu. Parallèlement à ces résultats, nous fournissons une analyse approfondie des composants individuels de notre méthode. Nous explorons les encodages de position de Llama et discutons de ses limites dans la modélisation des dépendances longues. Nous examinons également l'impact de divers choix de conception dans le processus de pré-entraînement, notamment le mélange de données et le curriculum d'entraînement des longueurs de séquence. Nos expériences d'ablation suggèrent que la présence abondante de textes longs dans le jeu de données de pré-entraînement n'est pas la clé pour obtenir de solides performances, et nous vérifions empiriquement que le pré-entraînement continu à contexte étendu est plus efficace et tout aussi performant qu'un pré-entraînement à partir de zéro avec des séquences longues.

English

We present a series of long-context LLMs that support effective context windows of up to 32,768 tokens. Our model series are built through continual pretraining from Llama 2 with longer training sequences and on a dataset where long texts are upsampled. We perform extensive evaluation on language modeling, synthetic context probing tasks, and a wide range of research benchmarks. On research benchmarks, our models achieve consistent improvements on most regular tasks and significant improvements on long-context tasks over Llama 2. Notably, with a cost-effective instruction tuning procedure that does not require human-annotated long instruction data, the 70B variant can already surpass gpt-3.5-turbo-16k's overall performance on a suite of long-context tasks. Alongside these results, we provide an in-depth analysis on the individual components of our method. We delve into Llama's position encodings and discuss its limitation in modeling long dependencies. We also examine the impact of various design choices in the pretraining process, including the data mix and the training curriculum of sequence lengths -- our ablation experiments suggest that having abundant long texts in the pretrain dataset is not the key to achieving strong performance, and we empirically verify that long context continual pretraining is more efficient and similarly effective compared to pretraining from scratch with long sequences.

Mise à l'échelle efficace des modèles de base pour des contextes longs

Effective Long-Context Scaling of Foundation Models

papers.abstract

Support