Colaboración Latente en Sistemas Multiagente
Latent Collaboration in Multi-Agent Systems
November 25, 2025
Autores: Jiaru Zou, Xiyuan Yang, Ruizhong Qiu, Gaotang Li, Katherine Tieu, Pan Lu, Ke Shen, Hanghang Tong, Yejin Choi, Jingrui He, James Zou, Mengdi Wang, Ling Yang
cs.AI
Resumen
Los sistemas multiagente (MAS) extienden los grandes modelos de lenguaje (LLM) desde el razonamiento independiente de un solo modelo hacia una inteligencia coordinada a nivel de sistema. Mientras que los agentes LLM existentes dependen de la mediación basada en texto para el razonamiento y la comunicación, nosotros damos un paso adelante al permitir que los modelos colaboren directamente dentro del espacio latente continuo. Presentamos LatentMAS, un marco integral de entrenamiento que permite la colaboración puramente latente entre agentes LLM. En LatentMAS, cada agente primero realiza una generación autoregresiva de pensamientos latentes a través de las incrustaciones ocultas de la última capa. Una memoria de trabajo latente compartida preserva y transfiere luego las representaciones internas de cada agente, garantizando un intercambio de información sin pérdidas. Proporcionamos análisis teóricos que establecen que LatentMAS alcanza una mayor expresividad y preservación de información sin pérdidas con una complejidad sustancialmente menor que los MAS basados en texto convencionales. Además, las evaluaciones empíricas en 9 benchmarks exhaustivos que abarcan razonamiento matemático y científico, comprensión del sentido común y generación de código, muestran que LatentMAS supera consistentemente los sólidos puntos de referencia de modelos únicos y MAS basados en texto, logrando hasta un 14.6% más de precisión, reduciendo el uso de tokens de salida en un 70.8%-83.7%, y proporcionando una inferencia integral de 4x a 4.3x más rápida. Estos resultados demuestran que nuestro nuevo marco de colaboración latente mejora la calidad del razonamiento a nivel del sistema mientras ofrece ganancias sustanciales de eficiencia sin ningún entrenamiento adicional. El código y los datos son completamente de código abierto en https://github.com/Gen-Verse/LatentMAS.
English
Multi-agent systems (MAS) extend large language models (LLMs) from independent single-model reasoning to coordinative system-level intelligence. While existing LLM agents depend on text-based mediation for reasoning and communication, we take a step forward by enabling models to collaborate directly within the continuous latent space. We introduce LatentMAS, an end-to-end training-free framework that enables pure latent collaboration among LLM agents. In LatentMAS, each agent first performs auto-regressive latent thoughts generation through last-layer hidden embeddings. A shared latent working memory then preserves and transfers each agent's internal representations, ensuring lossless information exchange. We provide theoretical analyses establishing that LatentMAS attains higher expressiveness and lossless information preservation with substantially lower complexity than vanilla text-based MAS. In addition, empirical evaluations across 9 comprehensive benchmarks spanning math and science reasoning, commonsense understanding, and code generation show that LatentMAS consistently outperforms strong single-model and text-based MAS baselines, achieving up to 14.6% higher accuracy, reducing output token usage by 70.8%-83.7%, and providing 4x-4.3x faster end-to-end inference. These results demonstrate that our new latent collaboration framework enhances system-level reasoning quality while offering substantial efficiency gains without any additional training. Code and data are fully open-sourced at https://github.com/Gen-Verse/LatentMAS.