Latente Samenwerking in Multi-Agent Systemen

Samenvatting

Multi-agent systemen (MAS) breiden grote taalmodelen (LLM's) uit van onafhankelijke, op één model gebaseerde redenering naar coördinerende, systeemniveau-intelligentie. Terwijl bestaande LLM-agenten afhankelijk zijn van op tekst gebaseerde bemiddeling voor redenering en communicatie, zetten wij een stap voorwaarts door modellen in staat te stellen rechtstreeks binnen de continue latente ruimte samen te werken. Wij introduceren LatentMAS, een end-to-end, trainingsvrij raamwerk dat pure latente samenwerking tussen LLM-agenten mogelijk maakt. In LatentMAS voert elke agent eerst autoregessieve generatie van latente gedachten uit via hidden embeddings uit de laatste laag. Een gedeeld latent werkgeheugen bewaart en transfert vervolgens de interne representaties van elke agent, wat een verliesvrije informatie-uitwisseling garandeert. Wij bieden theoretische analyses die aantonen dat LatentMAS een hogere expressiviteit en verliesvrije informatiebehoud bereikt met aanzienlijk lagere complexiteit dan klassieke op tekst gebaseerde MAS. Daarnaast tonen empirische evaluaties over 9 uitgebreide benchmarks, variërend van wiskundig en wetenschappelijk redeneren, begrip van gezond verstand, tot codegeneratie, aan dat LatentMAS consistent sterker presteert dan krachtige single-model- en op tekst gebaseerde MAS-baselines, met een tot 14,6% hogere nauwkeurigheid, een vermindering van het outputtokenverbruik met 70,8%-83,7%, en een 4x-4,3x snellere end-to-end inferentie. Deze resultaten tonen aan dat ons nieuwe latente samenwerkingsraamwerk de redeneerkwaliteit op systeemniveau verbetert en tegelijkertijd aanzienlijke efficiëntiewinsten biedt zonder enige aanvullende training. Code en data zijn volledig open source beschikbaar op https://github.com/Gen-Verse/LatentMAS.

English

Multi-agent systems (MAS) extend large language models (LLMs) from independent single-model reasoning to coordinative system-level intelligence. While existing LLM agents depend on text-based mediation for reasoning and communication, we take a step forward by enabling models to collaborate directly within the continuous latent space. We introduce LatentMAS, an end-to-end training-free framework that enables pure latent collaboration among LLM agents. In LatentMAS, each agent first performs auto-regressive latent thoughts generation through last-layer hidden embeddings. A shared latent working memory then preserves and transfers each agent's internal representations, ensuring lossless information exchange. We provide theoretical analyses establishing that LatentMAS attains higher expressiveness and lossless information preservation with substantially lower complexity than vanilla text-based MAS. In addition, empirical evaluations across 9 comprehensive benchmarks spanning math and science reasoning, commonsense understanding, and code generation show that LatentMAS consistently outperforms strong single-model and text-based MAS baselines, achieving up to 14.6% higher accuracy, reducing output token usage by 70.8%-83.7%, and providing 4x-4.3x faster end-to-end inference. These results demonstrate that our new latent collaboration framework enhances system-level reasoning quality while offering substantial efficiency gains without any additional training. Code and data are fully open-sourced at https://github.com/Gen-Verse/LatentMAS.

Latente Samenwerking in Multi-Agent Systemen

Latent Collaboration in Multi-Agent Systems

Samenvatting

Support