Масштабирование ввода внешних знаний за пределы контекстных окон больших языковых моделей с помощью мультиагентного взаимодействия

Scaling External Knowledge Input Beyond Context Windows of LLMs via Multi-Agent Collaboration

May 27, 2025

Авторы: Zijun Liu, Zhennan Wan, Peng Li, Ming Yan, Ji Zhang, Fei Huang, Yang Liu

cs.AI

Аннотация

С быстрым развитием методов посттренировочной обработки для задач рассуждения и поиска информации крупные языковые модели (LLM) могут интегрировать значительные объемы извлеченных знаний для решения сложных задач. Однако ограниченный размер контекстного окна LLM препятствует масштабированию объема внешних знаний, что сдерживает дальнейшее улучшение, особенно для задач, требующих значительного объема внешней информации. Существующие методы расширения контекстного окна неизбежно приводят к потере информации. Мультиагентные методы на основе LLM появляются как новая парадигма для обработки больших объемов данных распределенным образом, где мы выделяем два ключевых узких места в существующих процессах синхронизации знаний и рассуждения. В данной работе мы разрабатываем мультиагентный фреймворк, ExtAgents, чтобы преодолеть эти узкие места и обеспечить лучшую масштабируемость при интеграции знаний на этапе вывода без необходимости обучения с увеличенным контекстом. Протестированный на нашем улучшенном наборе данных для многошагового ответа на вопросы, $boldsymbol{inftyBench+}$, и других публичных наборах данных, включая генерацию длинных опросов, ExtAgents значительно улучшает производительность по сравнению с существующими методами, не требующими обучения, при том же объеме входных внешних знаний, независимо от того, укладываются ли они в контекстное окно или превышают его. Более того, метод сохраняет высокую эффективность благодаря высокой степени параллелизма. Дальнейшее изучение координации агентов LLM при увеличении объема внешних знаний может принести пользу реальным приложениям.

English

With the rapid advancement of post-training techniques for reasoning and information seeking, large language models (LLMs) can incorporate a large quantity of retrieved knowledge to solve complex tasks. However, the limited context window of LLMs obstructs scaling the amount of external knowledge input, prohibiting further improvement, especially for tasks requiring significant amount of external knowledge. Existing context window extension methods inevitably cause information loss. LLM-based multi-agent methods emerge as a new paradigm to handle massive input in a distributional manner, where we identify two core bottlenecks in existing knowledge synchronization and reasoning processes. In this work, we develop a multi-agent framework, ExtAgents, to overcome the bottlenecks and enable better scalability in inference-time knowledge integration without longer-context training. Benchmarked with our enhanced multi-hop question answering test, $boldsymbol{inftyBench+}, and other public test sets including long survey generation, ExtAgents significantly enhances the performance over existing non-training methods with the same amount of external knowledge input, regardless of whether it falls within or exceeds the context window$. Moreover, the method maintains high efficiency due to high parallelism. Further study in the coordination of LLM agents on increasing external knowledge input could benefit real-world applications.