Skalierung externer Wissenseingaben über Kontextfenster von LLMs hinaus durch Multi-Agenten-Kollaboration

Scaling External Knowledge Input Beyond Context Windows of LLMs via Multi-Agent Collaboration

May 27, 2025

Autoren: Zijun Liu, Zhennan Wan, Peng Li, Ming Yan, Ji Zhang, Fei Huang, Yang Liu

cs.AI

Zusammenfassung

Mit den rasanten Fortschritten bei Nachbereitungstechniken für logisches Denken und Informationsbeschaffung können große Sprachmodelle (LLMs) eine große Menge an abgerufenen Wissen integrieren, um komplexe Aufgaben zu lösen. Allerdings behindert das begrenzte Kontextfenster von LLMs die Skalierung der Menge an externem Wissen, was weitere Verbesserungen insbesondere bei Aufgaben, die eine erhebliche Menge an externem Wissen erfordern, verhindert. Bestehende Methoden zur Erweiterung des Kontextfensters führen unweigerlich zu Informationsverlust. LLM-basierte Multi-Agenten-Methoden entstehen als neues Paradigma, um massive Eingaben auf verteilte Weise zu verarbeiten, wobei wir zwei zentrale Engpässe in bestehenden Wissenssynchronisations- und Denkprozessen identifizieren. In dieser Arbeit entwickeln wir ein Multi-Agenten-Framework, ExtAgents, um diese Engpässe zu überwinden und eine bessere Skalierbarkeit bei der Integration von Wissen zur Inferenzzeit ohne längerkontextiges Training zu ermöglichen. Benchmarking mit unserem erweiterten Multi-Hop-Frage-Antwort-Test, $boldsymbol{inftyBench+}$, und anderen öffentlichen Testdatensätzen, einschließlich der Generierung langer Umfragen, verbessert ExtAgents die Leistung signifikant gegenüber bestehenden Nicht-Trainingsmethoden mit der gleichen Menge an externem Wissensinput, unabhängig davon, ob es innerhalb oder außerhalb des Kontextfensters liegt. Darüber hinaus behält die Methode aufgrund hoher Parallelität eine hohe Effizienz bei. Weitere Untersuchungen zur Koordination von LLM-Agenten bei zunehmendem externem Wissensinput könnten reale Anwendungen begünstigen.

English

With the rapid advancement of post-training techniques for reasoning and information seeking, large language models (LLMs) can incorporate a large quantity of retrieved knowledge to solve complex tasks. However, the limited context window of LLMs obstructs scaling the amount of external knowledge input, prohibiting further improvement, especially for tasks requiring significant amount of external knowledge. Existing context window extension methods inevitably cause information loss. LLM-based multi-agent methods emerge as a new paradigm to handle massive input in a distributional manner, where we identify two core bottlenecks in existing knowledge synchronization and reasoning processes. In this work, we develop a multi-agent framework, ExtAgents, to overcome the bottlenecks and enable better scalability in inference-time knowledge integration without longer-context training. Benchmarked with our enhanced multi-hop question answering test, $boldsymbol{inftyBench+}, and other public test sets including long survey generation, ExtAgents significantly enhances the performance over existing non-training methods with the same amount of external knowledge input, regardless of whether it falls within or exceeds the context window$. Moreover, the method maintains high efficiency due to high parallelism. Further study in the coordination of LLM agents on increasing external knowledge input could benefit real-world applications.