LLMtimesMapReduce: Упрощенная обработка длинных последовательностей с использованием крупных моделей языка

LLMtimesMapReduce: Simplified Long-Sequence Processing using Large Language Models

October 12, 2024

Авторы: Zihan Zhou, Chong Li, Xinyi Chen, Shuo Wang, Yu Chao, Zhili Li, Haoyu Wang, Rongqiao An, Qi Shi, Zhixing Tan, Xu Han, Xiaodong Shi, Zhiyuan Liu, Maosong Sun

cs.AI

Аннотация

Увеличение размера окна контекста для крупных языковых моделей (LLM) стало ключевой областью исследований, особенно для приложений, включающих крайне длинные тексты. В данной работе мы предлагаем новую рамочную систему обработки длинных текстов без обучения, используя стратегию "разделяй и властвуй" для достижения всестороннего понимания документа. Предложенная рамочная система LLMtimesMapReduce разбивает весь документ на несколько частей для чтения LLM, а затем агрегирует промежуточные ответы для получения окончательного результата. Основным вызовом для рамочных систем обработки длинных текстов "разделяй и властвуй" является риск потери важной информации на большие расстояния при разделении документа, что может привести к тому, что модель выдаст неполные или неверные ответы на основе сегментированных текстов. Потерянную информацию на большие расстояния можно классифицировать на две категории: зависимость между частями и конфликт между частями. Мы разработали структурированный протокол информации для более эффективного управления зависимостью между частями и механизм калибровки уверенности в контексте для разрешения конфликтов между частями. Экспериментальные результаты показывают, что LLMtimesMapReduce может превзойти представительные открытые и коммерческие LLM с длинным контекстом и применим к нескольким различным моделям.

English

Enlarging the context window of large language models (LLMs) has become a crucial research area, particularly for applications involving extremely long texts. In this work, we propose a novel training-free framework for processing long texts, utilizing a divide-and-conquer strategy to achieve comprehensive document understanding. The proposed LLMtimesMapReduce framework splits the entire document into several chunks for LLMs to read and then aggregates the intermediate answers to produce the final output. The main challenge for divide-and-conquer long text processing frameworks lies in the risk of losing essential long-range information when splitting the document, which can lead the model to produce incomplete or incorrect answers based on the segmented texts. Disrupted long-range information can be classified into two categories: inter-chunk dependency and inter-chunk conflict. We design a structured information protocol to better cope with inter-chunk dependency and an in-context confidence calibration mechanism to resolve inter-chunk conflicts. Experimental results demonstrate that LLMtimesMapReduce can outperform representative open-source and commercial long-context LLMs, and is applicable to several different models.