Escalado Efectivo de Modelos Fundacionales para Contextos Extensos

Resumen

Presentamos una serie de modelos de lenguaje de contexto largo (LLMs) que admiten ventanas de contexto efectivas de hasta 32,768 tokens. Nuestra serie de modelos se construye mediante un preentrenamiento continuo a partir de Llama 2, utilizando secuencias de entrenamiento más largas y un conjunto de datos en el que se sobremuestrean textos extensos. Realizamos una evaluación exhaustiva en modelado de lenguaje, tareas sintéticas de sondeo de contexto y una amplia gama de benchmarks de investigación. En los benchmarks de investigación, nuestros modelos logran mejoras consistentes en la mayoría de las tareas regulares y mejoras significativas en tareas de contexto largo en comparación con Llama 2. Destacablemente, con un procedimiento de ajuste por instrucciones rentable que no requiere datos de instrucciones largas anotados por humanos, la variante de 70B ya puede superar el rendimiento general de gpt-3.5-turbo-16k en un conjunto de tareas de contexto largo. Junto con estos resultados, proporcionamos un análisis en profundidad de los componentes individuales de nuestro método. Profundizamos en las codificaciones de posición de Llama y discutimos sus limitaciones para modelar dependencias largas. También examinamos el impacto de varias decisiones de diseño en el proceso de preentrenamiento, incluyendo la mezcla de datos y el plan de entrenamiento de longitudes de secuencias. Nuestros experimentos de ablación sugieren que tener abundantes textos largos en el conjunto de datos de preentrenamiento no es la clave para lograr un rendimiento sólido, y verificamos empíricamente que el preentrenamiento continuo de contexto largo es más eficiente y igualmente efectivo en comparación con el preentrenamiento desde cero con secuencias largas.

English

We present a series of long-context LLMs that support effective context windows of up to 32,768 tokens. Our model series are built through continual pretraining from Llama 2 with longer training sequences and on a dataset where long texts are upsampled. We perform extensive evaluation on language modeling, synthetic context probing tasks, and a wide range of research benchmarks. On research benchmarks, our models achieve consistent improvements on most regular tasks and significant improvements on long-context tasks over Llama 2. Notably, with a cost-effective instruction tuning procedure that does not require human-annotated long instruction data, the 70B variant can already surpass gpt-3.5-turbo-16k's overall performance on a suite of long-context tasks. Alongside these results, we provide an in-depth analysis on the individual components of our method. We delve into Llama's position encodings and discuss its limitation in modeling long dependencies. We also examine the impact of various design choices in the pretraining process, including the data mix and the training curriculum of sequence lengths -- our ablation experiments suggest that having abundant long texts in the pretrain dataset is not the key to achieving strong performance, and we empirically verify that long context continual pretraining is more efficient and similarly effective compared to pretraining from scratch with long sequences.

Escalado Efectivo de Modelos Fundacionales para Contextos Extensos

Effective Long-Context Scaling of Foundation Models

Resumen

Support