Escalando a Entrada de Conhecimento Externo Além das Janelas de Contexto de LLMs por meio de Colaboração Multiagente

Scaling External Knowledge Input Beyond Context Windows of LLMs via Multi-Agent Collaboration

May 27, 2025

Autores: Zijun Liu, Zhennan Wan, Peng Li, Ming Yan, Ji Zhang, Fei Huang, Yang Liu

cs.AI

Resumo

Com o rápido avanço das técnicas de pós-treinamento para raciocínio e busca de informações, os grandes modelos de linguagem (LLMs) podem incorporar uma grande quantidade de conhecimento recuperado para resolver tarefas complexas. No entanto, a janela de contexto limitada dos LLMs impede a escalabilidade da quantidade de conhecimento externo inserido, limitando melhorias adicionais, especialmente para tarefas que exigem uma quantidade significativa de conhecimento externo. Os métodos existentes de extensão da janela de contexto inevitavelmente causam perda de informações. Métodos baseados em LLMs com múltiplos agentes surgem como um novo paradigma para lidar com entradas massivas de forma distribuída, onde identificamos dois gargalos principais nos processos existentes de sincronização de conhecimento e raciocínio. Neste trabalho, desenvolvemos uma estrutura de múltiplos agentes, ExtAgents, para superar esses gargalos e permitir uma melhor escalabilidade na integração de conhecimento durante a inferência, sem a necessidade de treinamento com contextos mais longos. Avaliado com nosso teste aprimorado de resposta a perguntas multi-hop, $boldsymbol{inftyBench+}, e outros conjuntos de testes públicos, incluindo a geração de pesquisas longas, o ExtAgents melhora significativamente o desempenho em relação aos métodos existentes que não envolvem treinamento, com a mesma quantidade de conhecimento externo inserido, independentemente de estar dentro ou além da janela de contexto$. Além disso, o método mantém alta eficiência devido ao alto paralelismo. Um estudo adicional sobre a coordenação de agentes LLMs com o aumento do conhecimento externo inserido pode beneficiar aplicações do mundo real.

English

With the rapid advancement of post-training techniques for reasoning and information seeking, large language models (LLMs) can incorporate a large quantity of retrieved knowledge to solve complex tasks. However, the limited context window of LLMs obstructs scaling the amount of external knowledge input, prohibiting further improvement, especially for tasks requiring significant amount of external knowledge. Existing context window extension methods inevitably cause information loss. LLM-based multi-agent methods emerge as a new paradigm to handle massive input in a distributional manner, where we identify two core bottlenecks in existing knowledge synchronization and reasoning processes. In this work, we develop a multi-agent framework, ExtAgents, to overcome the bottlenecks and enable better scalability in inference-time knowledge integration without longer-context training. Benchmarked with our enhanced multi-hop question answering test, $boldsymbol{inftyBench+}, and other public test sets including long survey generation, ExtAgents significantly enhances the performance over existing non-training methods with the same amount of external knowledge input, regardless of whether it falls within or exceeds the context window$. Moreover, the method maintains high efficiency due to high parallelism. Further study in the coordination of LLM agents on increasing external knowledge input could benefit real-world applications.