Эффективное масштабирование базовых моделей для работы с длинным контекстом

Аннотация

Мы представляем серию языковых моделей с длинным контекстом (LLM), поддерживающих эффективные окна контекста до 32 768 токенов. Наша серия моделей создана путем непрерывного предобучения на основе Llama 2 с использованием более длинных обучающих последовательностей и набора данных, в котором длинные тексты были усилены. Мы проводим всестороннюю оценку на задачах языкового моделирования, синтетических задачах исследования контекста и широком спектре исследовательских бенчмарков. На исследовательских бенчмарках наши модели демонстрируют стабильные улучшения на большинстве стандартных задач и значительные улучшения на задачах с длинным контекстом по сравнению с Llama 2. Примечательно, что с помощью экономически эффективной процедуры настройки инструкций, не требующей аннотированных человеком длинных инструкций, вариант модели на 70B уже превосходит общую производительность gpt-3.5-turbo-16k на наборе задач с длинным контекстом. Наряду с этими результатами мы предоставляем детальный анализ отдельных компонентов нашего метода. Мы углубляемся в изучение позиционных кодировок Llama и обсуждаем их ограничения в моделировании длинных зависимостей. Мы также исследуем влияние различных проектных решений в процессе предобучения, включая состав данных и стратегию обучения с последовательностями разной длины. Наши эксперименты с исключением компонентов показывают, что наличие большого количества длинных текстов в наборе данных для предобучения не является ключевым фактором для достижения высокой производительности, и мы эмпирически подтверждаем, что непрерывное предобучение с длинным контекстом более эффективно и столь же результативно по сравнению с предобучением с нуля на длинных последовательностях.

English

We present a series of long-context LLMs that support effective context windows of up to 32,768 tokens. Our model series are built through continual pretraining from Llama 2 with longer training sequences and on a dataset where long texts are upsampled. We perform extensive evaluation on language modeling, synthetic context probing tasks, and a wide range of research benchmarks. On research benchmarks, our models achieve consistent improvements on most regular tasks and significant improvements on long-context tasks over Llama 2. Notably, with a cost-effective instruction tuning procedure that does not require human-annotated long instruction data, the 70B variant can already surpass gpt-3.5-turbo-16k's overall performance on a suite of long-context tasks. Alongside these results, we provide an in-depth analysis on the individual components of our method. We delve into Llama's position encodings and discuss its limitation in modeling long dependencies. We also examine the impact of various design choices in the pretraining process, including the data mix and the training curriculum of sequence lengths -- our ablation experiments suggest that having abundant long texts in the pretrain dataset is not the key to achieving strong performance, and we empirically verify that long context continual pretraining is more efficient and similarly effective compared to pretraining from scratch with long sequences.

Эффективное масштабирование базовых моделей для работы с длинным контекстом

Effective Long-Context Scaling of Foundation Models

Аннотация

Support