Het Schalen van Externe Kennisinvoer voorbij Contextvensters van LLM's via Multi-Agent Samenwerking

Scaling External Knowledge Input Beyond Context Windows of LLMs via Multi-Agent Collaboration

May 27, 2025

Auteurs: Zijun Liu, Zhennan Wan, Peng Li, Ming Yan, Ji Zhang, Fei Huang, Yang Liu

cs.AI

Samenvatting

Met de snelle vooruitgang van post-trainingsmethoden voor redeneren en informatiezoeken, kunnen grote taalmodelen (LLM's) een grote hoeveelheid opgehaalde kennis integreren om complexe taken op te lossen. Het beperkte contextvenster van LLM's belemmert echter het schalen van de hoeveelheid externe kennis die wordt ingevoerd, wat verdere verbetering in de weg staat, vooral voor taken die een aanzienlijke hoeveelheid externe kennis vereisen. Bestaande methoden voor het uitbreiden van het contextvenster leiden onvermijdelijk tot informatieverlies. LLM-gebaseerde multi-agentmethoden ontstaan als een nieuw paradigma om massale invoer op een distributieve manier te verwerken, waarbij we twee kernknelpunten identificeren in bestaande kennis synchronisatie- en redeneerprocessen. In dit werk ontwikkelen we een multi-agentframework, ExtAgents, om deze knelpunten te overwinnen en betere schaalbaarheid mogelijk te maken bij de integratie van kennis tijdens de inferentie, zonder langere-contexttraining. Getest met onze verbeterde multi-hop vraag-antwoordtest, $boldsymbol{inftyBench+}$, en andere openbare testen, waaronder het genereren van lange enquêtes, verbetert ExtAgents de prestaties aanzienlijk ten opzichte van bestaande niet-trainingsmethoden met dezelfde hoeveelheid externe kennisinvoer, ongeacht of deze binnen of buiten het contextvenster valt. Bovendien behoudt de methode een hoge efficiëntie dankzij een hoge mate van parallellisme. Verder onderzoek naar de coördinatie van LLM-agenten bij toenemende externe kennisinvoer kan voordelen opleveren voor real-world toepassingen.

English

With the rapid advancement of post-training techniques for reasoning and information seeking, large language models (LLMs) can incorporate a large quantity of retrieved knowledge to solve complex tasks. However, the limited context window of LLMs obstructs scaling the amount of external knowledge input, prohibiting further improvement, especially for tasks requiring significant amount of external knowledge. Existing context window extension methods inevitably cause information loss. LLM-based multi-agent methods emerge as a new paradigm to handle massive input in a distributional manner, where we identify two core bottlenecks in existing knowledge synchronization and reasoning processes. In this work, we develop a multi-agent framework, ExtAgents, to overcome the bottlenecks and enable better scalability in inference-time knowledge integration without longer-context training. Benchmarked with our enhanced multi-hop question answering test, $boldsymbol{inftyBench+}, and other public test sets including long survey generation, ExtAgents significantly enhances the performance over existing non-training methods with the same amount of external knowledge input, regardless of whether it falls within or exceeds the context window$. Moreover, the method maintains high efficiency due to high parallelism. Further study in the coordination of LLM agents on increasing external knowledge input could benefit real-world applications.