大規模言語モデルのコンテキストウィンドウを超えた外部知識入力のスケーリング： マルチエージェント協調によるアプローチ

Scaling External Knowledge Input Beyond Context Windows of LLMs via Multi-Agent Collaboration

May 27, 2025

著者: Zijun Liu, Zhennan Wan, Peng Li, Ming Yan, Ji Zhang, Fei Huang, Yang Liu

cs.AI

要旨

推論や情報探索のためのポストトレーニング技術の急速な進展に伴い、大規模言語モデル（LLMs）は、大量の検索された知識を取り入れて複雑なタスクを解決できるようになりました。しかし、LLMsの限られたコンテキストウィンドウは、外部知識の入力量をスケールアップすることを妨げ、特に大量の外部知識を必要とするタスクにおいてさらなる改善を阻んでいます。既存のコンテキストウィンドウ拡張手法は、避けられない情報の損失を引き起こします。LLMベースのマルチエージェント手法は、大量の入力を分散的に処理する新しいパラダイムとして登場し、既存の知識同期と推論プロセスにおける2つの核心的なボトルネックを特定しました。本研究では、これらのボトルネックを克服し、長いコンテキストのトレーニングなしに推論時の知識統合のスケーラビリティを向上させるためのマルチエージェントフレームワーク、ExtAgentsを開発しました。我々が強化したマルチホップ質問応答テスト、$boldsymbol{inftyBench+}$、および長い調査生成を含む他の公開テストセットでベンチマークを行った結果、ExtAgentsは、同じ量の外部知識入力において、コンテキストウィンドウ内かそれを超えるかに関わらず、既存の非トレーニング手法を大幅に上回る性能を示しました。さらに、この手法は高い並列性により高い効率を維持しています。外部知識入力の増加に対するLLMエージェントの協調に関するさらなる研究は、実世界のアプリケーションに利益をもたらす可能性があります。

English

With the rapid advancement of post-training techniques for reasoning and information seeking, large language models (LLMs) can incorporate a large quantity of retrieved knowledge to solve complex tasks. However, the limited context window of LLMs obstructs scaling the amount of external knowledge input, prohibiting further improvement, especially for tasks requiring significant amount of external knowledge. Existing context window extension methods inevitably cause information loss. LLM-based multi-agent methods emerge as a new paradigm to handle massive input in a distributional manner, where we identify two core bottlenecks in existing knowledge synchronization and reasoning processes. In this work, we develop a multi-agent framework, ExtAgents, to overcome the bottlenecks and enable better scalability in inference-time knowledge integration without longer-context training. Benchmarked with our enhanced multi-hop question answering test, $boldsymbol{inftyBench+}, and other public test sets including long survey generation, ExtAgents significantly enhances the performance over existing non-training methods with the same amount of external knowledge input, regardless of whether it falls within or exceeds the context window$. Moreover, the method maintains high efficiency due to high parallelism. Further study in the coordination of LLM agents on increasing external knowledge input could benefit real-world applications.