Entrenamiento Previo en Contexto: Modelado del Lenguaje Más Allá de los Límites del Documento

In-Context Pretraining: Language Modeling Beyond Document Boundaries

October 16, 2023

Autores: Weijia Shi, Sewon Min, Maria Lomeli, Chunting Zhou, Margaret Li, Victoria Lin, Noah A. Smith, Luke Zettlemoyer, Scott Yih, Mike Lewis

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LM, por sus siglas en inglés) se entrenan actualmente para predecir tokens dados prefijos de documentos, lo que les permite realizar directamente tareas de generación de texto extenso y de estilo de indicación que pueden reducirse a la finalización de documentos. Los pipelines de preentrenamiento existentes entrenan LM concatenando conjuntos aleatorios de documentos cortos para crear contextos de entrada, pero los documentos previos no proporcionan ninguna señal para predecir el siguiente documento. En su lugar, presentamos el Preentrenamiento en Contexto, un nuevo enfoque en el que los modelos de lenguaje se preentrenan en una secuencia de documentos relacionados, fomentando explícitamente que lean y razonen más allá de los límites de los documentos. Podemos realizar el Preentrenamiento en Contexto simplemente cambiando el orden de los documentos para que cada contexto contenga documentos relacionados y aplicando directamente los pipelines de preentrenamiento existentes. Sin embargo, este problema de ordenación de documentos es desafiante. Existen miles de millones de documentos y queremos que la ordenación maximice la similitud contextual para cada documento sin repetir ningún dato. Para lograrlo, introducimos algoritmos aproximados para encontrar documentos relacionados mediante búsqueda eficiente de vecinos más cercanos y construir contextos de entrada coherentes con un algoritmo de recorrido de grafos. Nuestros experimentos muestran que el Preentrenamiento en Contexto ofrece un enfoque simple y escalable para mejorar significativamente el rendimiento de los LM: observamos mejoras notables en tareas que requieren un razonamiento contextual más complejo, incluyendo el aprendizaje en contexto (+8%), la comprensión lectora (+15%), la fidelidad a contextos previos (+16%), el razonamiento de contexto largo (+5%) y la ampliación mediante recuperación (+9%).

English

Large language models (LMs) are currently trained to predict tokens given document prefixes, enabling them to directly perform long-form generation and prompting-style tasks which can be reduced to document completion. Existing pretraining pipelines train LMs by concatenating random sets of short documents to create input contexts but the prior documents provide no signal for predicting the next document. We instead present In-Context Pretraining, a new approach where language models are pretrained on a sequence of related documents, thereby explicitly encouraging them to read and reason across document boundaries. We can do In-Context Pretraining by simply changing the document ordering so that each context contains related documents, and directly applying existing pretraining pipelines. However, this document sorting problem is challenging. There are billions of documents and we would like the sort to maximize contextual similarity for every document without repeating any data. To do this, we introduce approximate algorithms for finding related documents with efficient nearest neighbor search and constructing coherent input contexts with a graph traversal algorithm. Our experiments show In-Context Pretraining offers a simple and scalable approach to significantly enhance LMs'performance: we see notable improvements in tasks that require more complex contextual reasoning, including in-context learning (+8%), reading comprehension (+15%), faithfulness to previous contexts (+16%), long-context reasoning (+5%), and retrieval augmentation (+9%).