LLMtimesMapReduce: Procesamiento Simplificado de Secuencias Largas utilizando Modelos de Lenguaje Extensos

LLMtimesMapReduce: Simplified Long-Sequence Processing using Large Language Models

October 12, 2024

Autores: Zihan Zhou, Chong Li, Xinyi Chen, Shuo Wang, Yu Chao, Zhili Li, Haoyu Wang, Rongqiao An, Qi Shi, Zhixing Tan, Xu Han, Xiaodong Shi, Zhiyuan Liu, Maosong Sun

cs.AI

Resumen

Ampliar la ventana de contexto de los grandes modelos de lenguaje (LLMs) se ha convertido en un área de investigación crucial, especialmente para aplicaciones que implican textos extremadamente largos. En este trabajo, proponemos un novedoso marco de trabajo sin entrenamiento para procesar textos largos, utilizando una estrategia de dividir y conquistar para lograr una comprensión documental integral. El marco propuesto LLMtimesMapReduce divide el documento completo en varios fragmentos para que los LLMs los lean y luego agrega las respuestas intermedias para producir la salida final. El principal desafío para los marcos de trabajo de procesamiento de textos largos de dividir y conquistar radica en el riesgo de perder información esencial de largo alcance al dividir el documento, lo que puede llevar al modelo a producir respuestas incompletas o incorrectas basadas en los textos segmentados. La información de largo alcance interrumpida se puede clasificar en dos categorías: dependencia entre fragmentos y conflicto entre fragmentos. Diseñamos un protocolo de información estructurada para lidiar mejor con la dependencia entre fragmentos y un mecanismo de calibración de confianza contextual para resolver conflictos entre fragmentos. Los resultados experimentales demuestran que LLMtimesMapReduce puede superar a los LLMs de contexto largo de código abierto y comerciales representativos, y es aplicable a varios modelos diferentes.

English

Enlarging the context window of large language models (LLMs) has become a crucial research area, particularly for applications involving extremely long texts. In this work, we propose a novel training-free framework for processing long texts, utilizing a divide-and-conquer strategy to achieve comprehensive document understanding. The proposed LLMtimesMapReduce framework splits the entire document into several chunks for LLMs to read and then aggregates the intermediate answers to produce the final output. The main challenge for divide-and-conquer long text processing frameworks lies in the risk of losing essential long-range information when splitting the document, which can lead the model to produce incomplete or incorrect answers based on the segmented texts. Disrupted long-range information can be classified into two categories: inter-chunk dependency and inter-chunk conflict. We design a structured information protocol to better cope with inter-chunk dependency and an in-context confidence calibration mechanism to resolve inter-chunk conflicts. Experimental results demonstrate that LLMtimesMapReduce can outperform representative open-source and commercial long-context LLMs, and is applicable to several different models.