LLMtimesMapReduce: Vereinfachte Langsequenzverarbeitung unter Verwendung großer Sprachmodelle

LLMtimesMapReduce: Simplified Long-Sequence Processing using Large Language Models

October 12, 2024

Autoren: Zihan Zhou, Chong Li, Xinyi Chen, Shuo Wang, Yu Chao, Zhili Li, Haoyu Wang, Rongqiao An, Qi Shi, Zhixing Tan, Xu Han, Xiaodong Shi, Zhiyuan Liu, Maosong Sun

cs.AI

Zusammenfassung

Die Erweiterung des Kontextfensters großer Sprachmodelle (LLMs) ist zu einem entscheidenden Forschungsbereich geworden, insbesondere für Anwendungen, die extrem lange Texte umfassen. In dieser Arbeit schlagen wir ein neuartiges, trainingfreies Framework zur Verarbeitung langer Texte vor, das eine Teile-und-Herrsche-Strategie nutzt, um ein umfassendes Verständnis von Dokumenten zu erreichen. Das vorgeschlagene LLMtimesMapReduce-Framework teilt das gesamte Dokument in mehrere Abschnitte auf, die von LLMs gelesen werden, und aggregiert dann die Zwischenergebnisse, um die endgültige Ausgabe zu erzeugen. Die Hauptherausforderung für Teile-und-Herrsche-Frameworks zur Verarbeitung langer Texte liegt im Risiko des Verlusts wesentlicher Informationen über große Entfernungen beim Aufteilen des Dokuments, was dazu führen kann, dass das Modell auf der Grundlage der segmentierten Texte unvollständige oder falsche Antworten liefert. Unterbrochene Informationen über große Entfernungen können in zwei Kategorien eingeteilt werden: zwischen Abschnittsabhängigkeit und zwischen Abschnittskonflikt. Wir entwerfen ein strukturiertes Informationsprotokoll, um besser mit der Abschnittsabhängigkeit umzugehen, und einen Mechanismus zur Kalibrierung des Kontextvertrauens, um Abschnittskonflikte zu lösen. Experimentelle Ergebnisse zeigen, dass LLMtimesMapReduce repräsentative Open-Source- und kommerzielle LLMs mit langem Kontext übertreffen kann und auf mehrere verschiedene Modelle anwendbar ist.

English

Enlarging the context window of large language models (LLMs) has become a crucial research area, particularly for applications involving extremely long texts. In this work, we propose a novel training-free framework for processing long texts, utilizing a divide-and-conquer strategy to achieve comprehensive document understanding. The proposed LLMtimesMapReduce framework splits the entire document into several chunks for LLMs to read and then aggregates the intermediate answers to produce the final output. The main challenge for divide-and-conquer long text processing frameworks lies in the risk of losing essential long-range information when splitting the document, which can lead the model to produce incomplete or incorrect answers based on the segmented texts. Disrupted long-range information can be classified into two categories: inter-chunk dependency and inter-chunk conflict. We design a structured information protocol to better cope with inter-chunk dependency and an in-context confidence calibration mechanism to resolve inter-chunk conflicts. Experimental results demonstrate that LLMtimesMapReduce can outperform representative open-source and commercial long-context LLMs, and is applicable to several different models.