Escalando la Entrada de Conocimiento Externo más allá de las Ventanas de Contexto de los LLM mediante Colaboración Multi-Agente

Scaling External Knowledge Input Beyond Context Windows of LLMs via Multi-Agent Collaboration

May 27, 2025

Autores: Zijun Liu, Zhennan Wan, Peng Li, Ming Yan, Ji Zhang, Fei Huang, Yang Liu

cs.AI

Resumen

Con el rápido avance de las técnicas de posentrenamiento para razonamiento y búsqueda de información, los modelos de lenguaje de gran escala (LLMs) pueden incorporar una gran cantidad de conocimiento recuperado para resolver tareas complejas. Sin embargo, la ventana de contexto limitada de los LLMs obstaculiza la escalabilidad de la cantidad de conocimiento externo que se puede introducir, impidiendo mejoras adicionales, especialmente en tareas que requieren una cantidad significativa de conocimiento externo. Los métodos existentes para extender la ventana de contexto inevitablemente causan pérdida de información. Los métodos basados en LLM de múltiples agentes surgen como un nuevo paradigma para manejar entradas masivas de manera distribuida, donde identificamos dos cuellos de botella principales en los procesos existentes de sincronización de conocimiento y razonamiento. En este trabajo, desarrollamos un marco de múltiples agentes, ExtAgents, para superar estos cuellos de botella y permitir una mejor escalabilidad en la integración de conocimiento durante la inferencia sin necesidad de entrenamiento con contextos más largos. Evaluado con nuestra prueba mejorada de respuesta a preguntas de múltiples saltos, $boldsymbol{inftyBench+}$, y otros conjuntos de pruebas públicos, incluida la generación de encuestas largas, ExtAgents mejora significativamente el rendimiento en comparación con los métodos existentes que no requieren entrenamiento, utilizando la misma cantidad de conocimiento externo, ya sea que este caiga dentro o exceda la ventana de contexto. Además, el método mantiene una alta eficiencia debido a su alto paralelismo. Un estudio adicional sobre la coordinación de agentes LLM con un aumento en la entrada de conocimiento externo podría beneficiar aplicaciones del mundo real.

English

With the rapid advancement of post-training techniques for reasoning and information seeking, large language models (LLMs) can incorporate a large quantity of retrieved knowledge to solve complex tasks. However, the limited context window of LLMs obstructs scaling the amount of external knowledge input, prohibiting further improvement, especially for tasks requiring significant amount of external knowledge. Existing context window extension methods inevitably cause information loss. LLM-based multi-agent methods emerge as a new paradigm to handle massive input in a distributional manner, where we identify two core bottlenecks in existing knowledge synchronization and reasoning processes. In this work, we develop a multi-agent framework, ExtAgents, to overcome the bottlenecks and enable better scalability in inference-time knowledge integration without longer-context training. Benchmarked with our enhanced multi-hop question answering test, $boldsymbol{inftyBench+}, and other public test sets including long survey generation, ExtAgents significantly enhances the performance over existing non-training methods with the same amount of external knowledge input, regardless of whether it falls within or exceeds the context window$. Moreover, the method maintains high efficiency due to high parallelism. Further study in the coordination of LLM agents on increasing external knowledge input could benefit real-world applications.