LLMtimesMapReduce : Traitement simplifié de longues séquences à l'aide de grands modèles de langage

LLMtimesMapReduce: Simplified Long-Sequence Processing using Large Language Models

October 12, 2024

Auteurs: Zihan Zhou, Chong Li, Xinyi Chen, Shuo Wang, Yu Chao, Zhili Li, Haoyu Wang, Rongqiao An, Qi Shi, Zhixing Tan, Xu Han, Xiaodong Shi, Zhiyuan Liu, Maosong Sun

cs.AI

Résumé

L'agrandissement de la fenêtre contextuelle des grands modèles de langage (GML) est devenu un domaine de recherche crucial, en particulier pour les applications impliquant des textes extrêmement longs. Dans ce travail, nous proposons un nouveau cadre sans entraînement pour le traitement des longs textes, en utilisant une stratégie de diviser pour régner pour parvenir à une compréhension documentaire complète. Le cadre proposé LMLfoisMapReduce divise l'ensemble du document en plusieurs morceaux à lire par les GML, puis agrège les réponses intermédiaires pour produire la sortie finale. Le principal défi pour les cadres de traitement de longs textes par diviser pour régner réside dans le risque de perte d'informations essentielles à longue portée lors de la division du document, ce qui peut amener le modèle à produire des réponses incomplètes ou incorrectes basées sur les textes segmentés. Les informations à longue portée perturbées peuvent être classées en deux catégories : la dépendance inter-morceaux et le conflit inter-morceaux. Nous concevons un protocole d'informations structurées pour mieux gérer la dépendance inter-morceaux et un mécanisme de calibration de confiance en contexte pour résoudre les conflits inter-morceaux. Les résultats expérimentaux démontrent que LMLfoisMapReduce peut surpasser des GML de contexte long open-source et commerciaux représentatifs, et est applicable à plusieurs modèles différents.

English

Enlarging the context window of large language models (LLMs) has become a crucial research area, particularly for applications involving extremely long texts. In this work, we propose a novel training-free framework for processing long texts, utilizing a divide-and-conquer strategy to achieve comprehensive document understanding. The proposed LLMtimesMapReduce framework splits the entire document into several chunks for LLMs to read and then aggregates the intermediate answers to produce the final output. The main challenge for divide-and-conquer long text processing frameworks lies in the risk of losing essential long-range information when splitting the document, which can lead the model to produce incomplete or incorrect answers based on the segmented texts. Disrupted long-range information can be classified into two categories: inter-chunk dependency and inter-chunk conflict. We design a structured information protocol to better cope with inter-chunk dependency and an in-context confidence calibration mechanism to resolve inter-chunk conflicts. Experimental results demonstrate that LLMtimesMapReduce can outperform representative open-source and commercial long-context LLMs, and is applicable to several different models.