LLMtimesMapReduce: Elaborazione semplificata di lunghe sequenze utilizzando Large Language Models

LLMtimesMapReduce: Simplified Long-Sequence Processing using Large Language Models

October 12, 2024

Autori: Zihan Zhou, Chong Li, Xinyi Chen, Shuo Wang, Yu Chao, Zhili Li, Haoyu Wang, Rongqiao An, Qi Shi, Zhixing Tan, Xu Han, Xiaodong Shi, Zhiyuan Liu, Maosong Sun

cs.AI

Abstract

L'ampliamento della finestra di contesto dei grandi modelli linguistici (LLM) è diventato un'area di ricerca cruciale, specialmente per le applicazioni che coinvolgono testi estremamente lunghi. In questo lavoro, proponiamo un nuovo framework privo di addestramento per elaborare testi lunghi, utilizzando una strategia divide-et-impera per ottenere una comprensione completa dei documenti. Il framework proposto LLMtimesMapReduce suddivide l'intero documento in diversi segmenti affinché i LLM possano leggerli e poi aggrega le risposte intermedie per produrre l'output finale. La sfida principale per i framework di elaborazione di testi lunghi divide-et-impera risiede nel rischio di perdere informazioni essenziali a lungo raggio durante la suddivisione del documento, il che potrebbe portare il modello a produrre risposte incomplete o errate basate sui testi segmentati. Le informazioni a lungo raggio interrotte possono essere classificate in due categorie: dipendenza tra segmenti e conflitto tra segmenti. Progettiamo un protocollo strutturato per gestire meglio la dipendenza tra segmenti e un meccanismo di calibrazione della fiducia in contesto per risolvere i conflitti tra segmenti. I risultati sperimentali dimostrano che LLMtimesMapReduce può superare i LLM con contesto lungo open-source e commerciali rappresentativi ed è applicabile a diversi modelli differenti.

English

Enlarging the context window of large language models (LLMs) has become a crucial research area, particularly for applications involving extremely long texts. In this work, we propose a novel training-free framework for processing long texts, utilizing a divide-and-conquer strategy to achieve comprehensive document understanding. The proposed LLMtimesMapReduce framework splits the entire document into several chunks for LLMs to read and then aggregates the intermediate answers to produce the final output. The main challenge for divide-and-conquer long text processing frameworks lies in the risk of losing essential long-range information when splitting the document, which can lead the model to produce incomplete or incorrect answers based on the segmented texts. Disrupted long-range information can be classified into two categories: inter-chunk dependency and inter-chunk conflict. We design a structured information protocol to better cope with inter-chunk dependency and an in-context confidence calibration mechanism to resolve inter-chunk conflicts. Experimental results demonstrate that LLMtimesMapReduce can outperform representative open-source and commercial long-context LLMs, and is applicable to several different models.