Предварительное обучение в контексте: языковое моделирование за пределами границ документов

In-Context Pretraining: Language Modeling Beyond Document Boundaries

October 16, 2023

Авторы: Weijia Shi, Sewon Min, Maria Lomeli, Chunting Zhou, Margaret Li, Victoria Lin, Noah A. Smith, Luke Zettlemoyer, Scott Yih, Mike Lewis

cs.AI

Аннотация

Крупные языковые модели (LM) в настоящее время обучаются для предсказания токенов на основе префиксов документов, что позволяет им напрямую выполнять задачи длинной генерации и стимулирующих запросов, которые могут быть сведены к завершению документов. Существующие конвейеры предварительного обучения тренируют LM путем объединения случайных наборов коротких документов для создания входных контекстов, однако предыдущие документы не предоставляют сигналов для предсказания следующего документа. Вместо этого мы представляем In-Context Pretraining — новый подход, при котором языковые модели предварительно обучаются на последовательности связанных документов, тем самым явно поощряя их читать и рассуждать за пределами границ отдельных документов. Мы можем реализовать In-Context Pretraining, просто изменив порядок документов так, чтобы каждый контекст содержал связанные документы, и напрямую применив существующие конвейеры предварительного обучения. Однако задача сортировки документов является сложной. Существуют миллиарды документов, и мы хотим, чтобы сортировка максимизировала контекстуальную схожесть для каждого документа без повторения данных. Для этого мы вводим приближенные алгоритмы поиска связанных документов с использованием эффективного поиска ближайших соседей и построения согласованных входных контекстов с помощью алгоритма обхода графа. Наши эксперименты показывают, что In-Context Pretraining предлагает простой и масштабируемый подход для значительного улучшения производительности LM: мы наблюдаем заметные улучшения в задачах, требующих более сложного контекстуального рассуждения, включая обучение в контексте (+8%), понимание прочитанного (+15%), соответствие предыдущим контекстам (+16%), рассуждение в длинных контекстах (+5%) и усиление с помощью поиска (+9%).

English

Large language models (LMs) are currently trained to predict tokens given document prefixes, enabling them to directly perform long-form generation and prompting-style tasks which can be reduced to document completion. Existing pretraining pipelines train LMs by concatenating random sets of short documents to create input contexts but the prior documents provide no signal for predicting the next document. We instead present In-Context Pretraining, a new approach where language models are pretrained on a sequence of related documents, thereby explicitly encouraging them to read and reason across document boundaries. We can do In-Context Pretraining by simply changing the document ordering so that each context contains related documents, and directly applying existing pretraining pipelines. However, this document sorting problem is challenging. There are billions of documents and we would like the sort to maximize contextual similarity for every document without repeating any data. To do this, we introduce approximate algorithms for finding related documents with efficient nearest neighbor search and constructing coherent input contexts with a graph traversal algorithm. Our experiments show In-Context Pretraining offers a simple and scalable approach to significantly enhance LMs'performance: we see notable improvements in tasks that require more complex contextual reasoning, including in-context learning (+8%), reading comprehension (+15%), faithfulness to previous contexts (+16%), long-context reasoning (+5%), and retrieval augmentation (+9%).