マルチエージェントシステムにおける潜在的協調

Latent Collaboration in Multi-Agent Systems

November 25, 2025

著者: Jiaru Zou, Xiyuan Yang, Ruizhong Qiu, Gaotang Li, Katherine Tieu, Pan Lu, Ke Shen, Hanghang Tong, Yejin Choi, Jingrui He, James Zou, Mengdi Wang, Ling Yang

cs.AI

要旨

マルチエージェントシステム（MAS）は、大規模言語モデル（LLM）を独立した単一モデル推論から協調的なシステムレベル知能へ拡張する。既存のLLMエージェントがテキストベースの仲介に依存して推論と通信を行うのに対し、我々は連続的な潜在空間内でのモデル間直接協働を可能にする一歩先を行くアプローチを提案する。本論文ではLatentMASを紹介する。これはLLMエージェント間の純粋な潜在協働を可能にするエンドツーエンドの訓練不要フレームワークである。LatentMASでは、各エージェントはまず最終層隠れ埋め込みを通じて自己回帰的な潜在思考生成を行う。共有潜在作業記憶が各エージェントの内部表現を保存・転送し、ロスレスな情報交換を保証する。理論分析により、LatentMASが従来のテキストベースMASと比較して大幅に低い複雑性で、より高い表現力とロスレスな情報保存を達成することを立証する。さらに、数学・科学推論、常識理解、コード生成にわたる9つの包括的ベンチマークにおける実証評価では、LatentMASが強力な単一モデル及びテキストベースMASベースラインを一貫して上回り、最大14.6%の精度向上、70.8%-83.7%の出力トークン使用量削減、4倍-4.3倍の高速なエンドツーエンド推論を実現した。これらの結果は、我々の新しい潜在協働フレームワークが、追加の訓練なしにシステムレベルの推論品質を向上させながら、実質的な効率向上をもたらすことを示している。コードとデータはhttps://github.com/Gen-Verse/LatentMAS で完全に公開されている。

English

Multi-agent systems (MAS) extend large language models (LLMs) from independent single-model reasoning to coordinative system-level intelligence. While existing LLM agents depend on text-based mediation for reasoning and communication, we take a step forward by enabling models to collaborate directly within the continuous latent space. We introduce LatentMAS, an end-to-end training-free framework that enables pure latent collaboration among LLM agents. In LatentMAS, each agent first performs auto-regressive latent thoughts generation through last-layer hidden embeddings. A shared latent working memory then preserves and transfers each agent's internal representations, ensuring lossless information exchange. We provide theoretical analyses establishing that LatentMAS attains higher expressiveness and lossless information preservation with substantially lower complexity than vanilla text-based MAS. In addition, empirical evaluations across 9 comprehensive benchmarks spanning math and science reasoning, commonsense understanding, and code generation show that LatentMAS consistently outperforms strong single-model and text-based MAS baselines, achieving up to 14.6% higher accuracy, reducing output token usage by 70.8%-83.7%, and providing 4x-4.3x faster end-to-end inference. These results demonstrate that our new latent collaboration framework enhances system-level reasoning quality while offering substantial efficiency gains without any additional training. Code and data are fully open-sourced at https://github.com/Gen-Verse/LatentMAS.