Scalabilità dell'Input di Conoscenza Esterna Oltre le Finestre di Contesto degli LLM Attraverso la Collaborazione Multi-Agente

Scaling External Knowledge Input Beyond Context Windows of LLMs via Multi-Agent Collaboration

May 27, 2025

Autori: Zijun Liu, Zhennan Wan, Peng Li, Ming Yan, Ji Zhang, Fei Huang, Yang Liu

cs.AI

Abstract

Con il rapido avanzamento delle tecniche post-addestramento per il ragionamento e la ricerca di informazioni, i grandi modelli linguistici (LLM) possono incorporare una grande quantità di conoscenze recuperate per risolvere compiti complessi. Tuttavia, la finestra di contesto limitata dei LLM ostacola la scalabilità della quantità di conoscenza esterna in input, impedendo ulteriori miglioramenti, specialmente per compiti che richiedono una quantità significativa di conoscenza esterna. I metodi esistenti per l'estensione della finestra di contesto causano inevitabilmente una perdita di informazioni. I metodi multi-agente basati su LLM emergono come un nuovo paradigma per gestire input massicci in modo distribuito, dove identifichiamo due colli di bottiglia principali nei processi esistenti di sincronizzazione della conoscenza e di ragionamento. In questo lavoro, sviluppiamo un framework multi-agente, ExtAgents, per superare questi colli di bottiglia e consentire una migliore scalabilità nell'integrazione della conoscenza al momento dell'inferenza senza un addestramento a contesto più lungo. Testato con il nostro test avanzato di risposta a domande multi-hop, $boldsymbol{inftyBench+}$, e altri set di test pubblici inclusa la generazione di sondaggi lunghi, ExtAgents migliora significativamente le prestazioni rispetto ai metodi esistenti senza addestramento con la stessa quantità di conoscenza esterna in input, indipendentemente dal fatto che rientri o superi la finestra di contesto$. Inoltre, il metodo mantiene un'elevata efficienza grazie all'elevato parallelismo. Ulteriori studi sulla coordinazione degli agenti LLM con l'aumento della conoscenza esterna in input potrebbero beneficiare applicazioni del mondo reale.

English

With the rapid advancement of post-training techniques for reasoning and information seeking, large language models (LLMs) can incorporate a large quantity of retrieved knowledge to solve complex tasks. However, the limited context window of LLMs obstructs scaling the amount of external knowledge input, prohibiting further improvement, especially for tasks requiring significant amount of external knowledge. Existing context window extension methods inevitably cause information loss. LLM-based multi-agent methods emerge as a new paradigm to handle massive input in a distributional manner, where we identify two core bottlenecks in existing knowledge synchronization and reasoning processes. In this work, we develop a multi-agent framework, ExtAgents, to overcome the bottlenecks and enable better scalability in inference-time knowledge integration without longer-context training. Benchmarked with our enhanced multi-hop question answering test, $boldsymbol{inftyBench+}, and other public test sets including long survey generation, ExtAgents significantly enhances the performance over existing non-training methods with the same amount of external knowledge input, regardless of whether it falls within or exceeds the context window$. Moreover, the method maintains high efficiency due to high parallelism. Further study in the coordination of LLM agents on increasing external knowledge input could benefit real-world applications.