LLM의 컨텍스트 윈도우를 넘어선 외부 지식 입력 확장: 다중 에이전트 협업을 통한 접근

Scaling External Knowledge Input Beyond Context Windows of LLMs via Multi-Agent Collaboration

May 27, 2025

저자: Zijun Liu, Zhennan Wan, Peng Li, Ming Yan, Ji Zhang, Fei Huang, Yang Liu

cs.AI

초록

추론 및 정보 탐색을 위한 사후 학습 기술의 급속한 발전과 함께, 대규모 언어 모델(LLMs)은 복잡한 작업을 해결하기 위해 대량의 검색된 지식을 통합할 수 있게 되었습니다. 그러나 LLM의 제한된 컨텍스트 윈도우는 외부 지식 입력의 규모 확장을 방해하며, 특히 상당한 양의 외부 지식을 요구하는 작업에서의 추가적인 개선을 막고 있습니다. 기존의 컨텍스트 윈도우 확장 방법들은 필연적으로 정보 손실을 초래합니다. LLM 기반의 다중 에이전트 방법은 대량의 입력을 분산적으로 처리하기 위한 새로운 패러다임으로 등장했으며, 여기서 우리는 기존의 지식 동기화 및 추론 과정에서 두 가지 주요 병목 현상을 확인했습니다. 본 연구에서는 이러한 병목 현상을 극복하고 더 긴 컨텍스트 학습 없이도 추론 시 지식 통합의 확장성을 높이기 위한 다중 에이전트 프레임워크인 ExtAgents를 개발했습니다. 우리가 개선한 다중 홉 질문 응답 테스트인 $boldsymbol{inftyBench+}$ 및 긴 설문 생성과 같은 다른 공개 테스트 세트에서 벤치마킹한 결과, ExtAgents는 동일한 양의 외부 지식 입력에 대해 컨텍스트 윈도우 내부 또는 초과 여부와 관계없이 기존의 비학습 방법보다 성능을 크게 향상시켰습니다. 또한, 이 방법은 높은 병렬성으로 인해 높은 효율성을 유지합니다. 외부 지식 입력 증가에 대한 LLM 에이전트의 조율에 대한 추가 연구는 실제 응용 프로그램에 이점을 제공할 수 있습니다.

English

With the rapid advancement of post-training techniques for reasoning and information seeking, large language models (LLMs) can incorporate a large quantity of retrieved knowledge to solve complex tasks. However, the limited context window of LLMs obstructs scaling the amount of external knowledge input, prohibiting further improvement, especially for tasks requiring significant amount of external knowledge. Existing context window extension methods inevitably cause information loss. LLM-based multi-agent methods emerge as a new paradigm to handle massive input in a distributional manner, where we identify two core bottlenecks in existing knowledge synchronization and reasoning processes. In this work, we develop a multi-agent framework, ExtAgents, to overcome the bottlenecks and enable better scalability in inference-time knowledge integration without longer-context training. Benchmarked with our enhanced multi-hop question answering test, $boldsymbol{inftyBench+}, and other public test sets including long survey generation, ExtAgents significantly enhances the performance over existing non-training methods with the same amount of external knowledge input, regardless of whether it falls within or exceeds the context window$. Moreover, the method maintains high efficiency due to high parallelism. Further study in the coordination of LLM agents on increasing external knowledge input could benefit real-world applications.