Escalonamento Eficiente de Contexto Longo em Modelos de Base

Resumo

Apresentamos uma série de LLMs de contexto longo que suportam janelas de contexto eficazes de até 32.768 tokens. Nossa série de modelos foi construída por meio de pré-treinamento contínuo a partir do Llama 2, com sequências de treinamento mais longas e em um conjunto de dados onde textos longos são superamostrados. Realizamos uma avaliação extensiva em modelagem de linguagem, tarefas de sondagem de contexto sintético e uma ampla gama de benchmarks de pesquisa. Nos benchmarks de pesquisa, nossos modelos alcançam melhorias consistentes na maioria das tarefas regulares e melhorias significativas em tarefas de contexto longo em comparação com o Llama 2. Notavelmente, com um procedimento de ajuste de instrução de baixo custo que não requer dados de instrução longa anotados por humanos, a variante de 70B já pode superar o desempenho geral do gpt-3.5-turbo-16k em uma série de tarefas de contexto longo. Paralelamente a esses resultados, fornecemos uma análise detalhada dos componentes individuais de nosso método. Investigamos as codificações de posição do Llama e discutimos suas limitações na modelagem de dependências longas. Também examinamos o impacto de várias escolhas de design no processo de pré-treinamento, incluindo a mistura de dados e o currículo de treinamento de comprimentos de sequência — nossos experimentos de ablação sugerem que a presença abundante de textos longos no conjunto de dados de pré-treinamento não é a chave para alcançar um desempenho forte, e verificamos empiricamente que o pré-treinamento contínuo de contexto longo é mais eficiente e igualmente eficaz em comparação com o pré-treinamento do zero com sequências longas.

English

We present a series of long-context LLMs that support effective context windows of up to 32,768 tokens. Our model series are built through continual pretraining from Llama 2 with longer training sequences and on a dataset where long texts are upsampled. We perform extensive evaluation on language modeling, synthetic context probing tasks, and a wide range of research benchmarks. On research benchmarks, our models achieve consistent improvements on most regular tasks and significant improvements on long-context tasks over Llama 2. Notably, with a cost-effective instruction tuning procedure that does not require human-annotated long instruction data, the 70B variant can already surpass gpt-3.5-turbo-16k's overall performance on a suite of long-context tasks. Alongside these results, we provide an in-depth analysis on the individual components of our method. We delve into Llama's position encodings and discuss its limitation in modeling long dependencies. We also examine the impact of various design choices in the pretraining process, including the data mix and the training curriculum of sequence lengths -- our ablation experiments suggest that having abundant long texts in the pretrain dataset is not the key to achieving strong performance, and we empirically verify that long context continual pretraining is more efficient and similarly effective compared to pretraining from scratch with long sequences.

Escalonamento Eficiente de Contexto Longo em Modelos de Base

Effective Long-Context Scaling of Foundation Models

Resumo

Support