In-Context Pretraining: Taalmodeling voorbij documentgrenzen

In-Context Pretraining: Language Modeling Beyond Document Boundaries

October 16, 2023

Auteurs: Weijia Shi, Sewon Min, Maria Lomeli, Chunting Zhou, Margaret Li, Victoria Lin, Noah A. Smith, Luke Zettlemoyer, Scott Yih, Mike Lewis

cs.AI

Samenvatting

Grote taalmodellen (LM's) worden momenteel getraind om tokens te voorspellen op basis van documentprefixen, waardoor ze direct lange tekstgeneratie en taken in prompt-stijl kunnen uitvoeren die kunnen worden teruggebracht tot het voltooien van documenten. Bestaande voorafgaande trainingspijplijnen trainen LM's door willekeurige sets van korte documenten aan elkaar te koppelen om invoercontexten te creëren, maar de voorgaande documenten bieden geen signaal voor het voorspellen van het volgende document. Wij presenteren in plaats daarvan In-Context Pretraining, een nieuwe aanpak waarbij taalmodellen worden voorgetraind op een reeks gerelateerde documenten, waardoor ze expliciet worden aangemoedigd om te lezen en redeneren over documentgrenzen heen. We kunnen In-Context Pretraining uitvoeren door simpelweg de documentvolgorde te wijzigen zodat elke context gerelateerde documenten bevat, en bestaande voorafgaande trainingspijplijnen direct toe te passen. Dit document-sorteerprobleem is echter uitdagend. Er zijn miljarden documenten en we willen dat de sortering de contextuele gelijkenis voor elk document maximaliseert zonder gegevens te herhalen. Om dit te doen, introduceren we benaderende algoritmen voor het vinden van gerelateerde documenten met efficiënte zoekopdrachten naar de dichtstbijzijnde buren en het construeren van samenhangende invoercontexten met een graaftraversal-algoritme. Onze experimenten tonen aan dat In-Context Pretraining een eenvoudige en schaalbare aanpak biedt om de prestaties van LM's aanzienlijk te verbeteren: we zien opmerkelijke verbeteringen in taken die complexer contextueel redeneren vereisen, waaronder in-context leren (+8%), begrijpend lezen (+15%), trouw aan voorgaande contexten (+16%), langetermijncontextredenering (+5%) en retrieval-augmentatie (+9%).

English

Large language models (LMs) are currently trained to predict tokens given document prefixes, enabling them to directly perform long-form generation and prompting-style tasks which can be reduced to document completion. Existing pretraining pipelines train LMs by concatenating random sets of short documents to create input contexts but the prior documents provide no signal for predicting the next document. We instead present In-Context Pretraining, a new approach where language models are pretrained on a sequence of related documents, thereby explicitly encouraging them to read and reason across document boundaries. We can do In-Context Pretraining by simply changing the document ordering so that each context contains related documents, and directly applying existing pretraining pipelines. However, this document sorting problem is challenging. There are billions of documents and we would like the sort to maximize contextual similarity for every document without repeating any data. To do this, we introduce approximate algorithms for finding related documents with efficient nearest neighbor search and constructing coherent input contexts with a graph traversal algorithm. Our experiments show In-Context Pretraining offers a simple and scalable approach to significantly enhance LMs'performance: we see notable improvements in tasks that require more complex contextual reasoning, including in-context learning (+8%), reading comprehension (+15%), faithfulness to previous contexts (+16%), long-context reasoning (+5%), and retrieval augmentation (+9%).