Collaboration latente dans les systèmes multi-agents

papers.abstract

Les systèmes multi-agents (MAS) étendent les capacités des grands modèles de langage (LLM) en passant d'un raisonnement par modèle unique indépendant à une intelligence systémique coordonnée. Alors que les agents LLM existants dépendent d'une médiation textuelle pour le raisonnement et la communication, nous franchissons une étape supplémentaire en permettant aux modèles de collaborer directement dans l'espace latent continu. Nous présentons LatentMAS, un cadre sans apprentissage de bout en bout qui permet une collaboration purement latente entre agents LLM. Dans LatentMAS, chaque agent effectue d'abord une génération de pensées latentes autorégressives via les embeddings cachés de la dernière couche. Une mémoire de travail latente partagée préserve et transfère ensuite les représentations internes de chaque agent, garantissant un échange d'information sans perte. Nous fournissons des analyses théoriques établissant que LatentMAS atteint une expressivité supérieure et une préservation d'information sans perte avec une complexité substantiellement réduite par rapport aux MAS textuels classiques. De plus, des évaluations empiriques sur 9 benchmarks complets couvrant le raisonnement mathématique et scientifique, la compréhension du sens commun et la génération de code montrent que LatentMAS surpasse constamment les modèles uniques et les bases de référence MAS textuels, atteignant une précision jusqu'à 14,6% supérieure, réduisant l'utilisation de tokens en sortie de 70,8% à 83,7%, et offrant une accélération de l'inférence de bout en bout de 4x à 4,3x. Ces résultats démontrent que notre nouveau cadre de collaboration latente améliore la qualité du raisonnement au niveau systémique tout en offrant des gains d'efficacité substantiels sans apprentissage supplémentaire. Le code et les données sont entièrement open-source à l'adresse https://github.com/Gen-Verse/LatentMAS.

English

Multi-agent systems (MAS) extend large language models (LLMs) from independent single-model reasoning to coordinative system-level intelligence. While existing LLM agents depend on text-based mediation for reasoning and communication, we take a step forward by enabling models to collaborate directly within the continuous latent space. We introduce LatentMAS, an end-to-end training-free framework that enables pure latent collaboration among LLM agents. In LatentMAS, each agent first performs auto-regressive latent thoughts generation through last-layer hidden embeddings. A shared latent working memory then preserves and transfers each agent's internal representations, ensuring lossless information exchange. We provide theoretical analyses establishing that LatentMAS attains higher expressiveness and lossless information preservation with substantially lower complexity than vanilla text-based MAS. In addition, empirical evaluations across 9 comprehensive benchmarks spanning math and science reasoning, commonsense understanding, and code generation show that LatentMAS consistently outperforms strong single-model and text-based MAS baselines, achieving up to 14.6% higher accuracy, reducing output token usage by 70.8%-83.7%, and providing 4x-4.3x faster end-to-end inference. These results demonstrate that our new latent collaboration framework enhances system-level reasoning quality while offering substantial efficiency gains without any additional training. Code and data are fully open-sourced at https://github.com/Gen-Verse/LatentMAS.

Collaboration latente dans les systèmes multi-agents

Latent Collaboration in Multi-Agent Systems

papers.abstract

Support