Étendre l'intégration de connaissances externes au-delà des limites des fenêtres contextuelles des LLM grâce à la collaboration multi-agent

Scaling External Knowledge Input Beyond Context Windows of LLMs via Multi-Agent Collaboration

May 27, 2025

Auteurs: Zijun Liu, Zhennan Wan, Peng Li, Ming Yan, Ji Zhang, Fei Huang, Yang Liu

cs.AI

Résumé

Avec les progrès rapides des techniques de post-entraînement pour le raisonnement et la recherche d'informations, les grands modèles de langage (LLMs) peuvent intégrer une grande quantité de connaissances récupérées pour résoudre des tâches complexes. Cependant, la fenêtre de contexte limitée des LLMs entrave la mise à l'échelle de la quantité de connaissances externes en entrée, empêchant ainsi toute amélioration supplémentaire, en particulier pour les tâches nécessitant une quantité importante de connaissances externes. Les méthodes existantes d'extension de la fenêtre de contexte entraînent inévitablement une perte d'information. Les méthodes multi-agents basées sur les LLMs émergent comme un nouveau paradigme pour gérer des entrées massives de manière distribuée, où nous identifions deux goulots d'étranglement principaux dans les processus existants de synchronisation des connaissances et de raisonnement. Dans ce travail, nous développons un cadre multi-agents, ExtAgents, pour surmonter ces goulots d'étranglement et permettre une meilleure scalabilité dans l'intégration des connaissances au moment de l'inférence sans nécessiter d'entraînement sur des contextes plus longs. Évalué avec notre test amélioré de question-réponse multi-sauts, $boldsymbol{inftyBench+}$, et d'autres ensembles de tests publics incluant la génération de longs sondages, ExtAgents améliore significativement les performances par rapport aux méthodes existantes non entraînées avec la même quantité de connaissances externes en entrée, que celles-ci se situent ou non dans la fenêtre de contexte. De plus, la méthode maintient une efficacité élevée grâce à un haut niveau de parallélisme. Une étude approfondie de la coordination des agents LLMs sur l'augmentation des connaissances externes en entrée pourrait bénéficier aux applications du monde réel.

English

With the rapid advancement of post-training techniques for reasoning and information seeking, large language models (LLMs) can incorporate a large quantity of retrieved knowledge to solve complex tasks. However, the limited context window of LLMs obstructs scaling the amount of external knowledge input, prohibiting further improvement, especially for tasks requiring significant amount of external knowledge. Existing context window extension methods inevitably cause information loss. LLM-based multi-agent methods emerge as a new paradigm to handle massive input in a distributional manner, where we identify two core bottlenecks in existing knowledge synchronization and reasoning processes. In this work, we develop a multi-agent framework, ExtAgents, to overcome the bottlenecks and enable better scalability in inference-time knowledge integration without longer-context training. Benchmarked with our enhanced multi-hop question answering test, $boldsymbol{inftyBench+}, and other public test sets including long survey generation, ExtAgents significantly enhances the performance over existing non-training methods with the same amount of external knowledge input, regardless of whether it falls within or exceeds the context window$. Moreover, the method maintains high efficiency due to high parallelism. Further study in the coordination of LLM agents on increasing external knowledge input could benefit real-world applications.