Latente Kollaboration in Multi-Agenten-Systemen

papers.abstract

Mehr-Agenten-Systeme (MAS) erweitern große Sprachmodelle (LLMs) von unabhängiger Einzelmodell-Argumentation zu koordinierter Systemintelligenz. Während bestehende LLM-Agenten auf textbasierte Vermittlung für Schlussfolgerungen und Kommunikation angewiesen sind, gehen wir einen Schritt weiter, indem wir Modelle zur direkten Zusammenarbeit im kontinuierlichen latenten Raum befähigen. Wir stellen LatentMAS vor, ein end-to-end trainingsfreies Framework, das reine latente Kollaboration zwischen LLM-Agenten ermöglicht. In LatentMAS führt jeder Agent zunächst auto-regressive Erzeugung latenter Gedanken durch Hidden Embeddings der letzten Schicht durch. Ein gemeinsamer latenter Arbeitsspeicher bewahrt und überträgt dann die internen Repräsentationen jedes Agenten und gewährleistet thereby verlustfreien Informationsaustausch. Wir liefern theoretische Analysen, die belegen, dass LatentMAS höhere Ausdruckskraft und verlustfreie Informationserhaltung bei deutlich geringerer Komplexität als herkömmliche textbasierte MAS erreicht. Darüber hinaus zeigen empirische Auswertungen über 9 umfassende Benchmarks in den Bereichen mathematisch-naturwissenschaftliches Denken, Common-Sense-Verständnis und Code-Generierung, dass LatentMAS konsistent starke Einzelmodell- und textbasierte MAS-Baselines übertrifft – mit bis zu 14,6 % höherer Genauigkeit, reduzierter Ausgabetoken-Nutzung um 70,8 %–83,7 % und 4-fach bis 4,3-fach schnellerer End-to-End-Inferenz. Diese Ergebnisse demonstrieren, dass unser neues Framework latenter Kollaboration die Qualität der Systemargumentation steigert und gleichzeitig erhebliche Effizienzgewinne ohne zusätzliches Training bietet. Code und Daten sind vollständig unter https://github.com/Gen-Verse/LatentMAS quelloffen verfügbar.

English

Multi-agent systems (MAS) extend large language models (LLMs) from independent single-model reasoning to coordinative system-level intelligence. While existing LLM agents depend on text-based mediation for reasoning and communication, we take a step forward by enabling models to collaborate directly within the continuous latent space. We introduce LatentMAS, an end-to-end training-free framework that enables pure latent collaboration among LLM agents. In LatentMAS, each agent first performs auto-regressive latent thoughts generation through last-layer hidden embeddings. A shared latent working memory then preserves and transfers each agent's internal representations, ensuring lossless information exchange. We provide theoretical analyses establishing that LatentMAS attains higher expressiveness and lossless information preservation with substantially lower complexity than vanilla text-based MAS. In addition, empirical evaluations across 9 comprehensive benchmarks spanning math and science reasoning, commonsense understanding, and code generation show that LatentMAS consistently outperforms strong single-model and text-based MAS baselines, achieving up to 14.6% higher accuracy, reducing output token usage by 70.8%-83.7%, and providing 4x-4.3x faster end-to-end inference. These results demonstrate that our new latent collaboration framework enhances system-level reasoning quality while offering substantial efficiency gains without any additional training. Code and data are fully open-sourced at https://github.com/Gen-Verse/LatentMAS.

Latente Kollaboration in Multi-Agenten-Systemen

Latent Collaboration in Multi-Agent Systems

papers.abstract

Support