Collaborazione Latente nei Sistemi Multi-Agente

Abstract

I sistemi multi-agente (MAS) estendono i grandi modelli linguistici (LLM) dal ragionamento indipendente di singoli modelli a un'intelligenza coordinata a livello di sistema. Mentre gli agenti LLM esistenti dipendono da una mediazione basata su testo per il ragionamento e la comunicazione, noi facciamo un passo avanti consentendo ai modelli di collaborare direttamente all'interno dello spazio latente continuo. Introduciamo LatentMAS, un framework end-to-end che non richiede training e abilita una collaborazione puramente latente tra agenti LLM. In LatentMAS, ogni agente esegue prima una generazione autoregressiva di pensieri latenti attraverso gli embedding nascosti dell'ultimo strato. Una memoria di lavoro latente condivisa preserva e trasferisce poi le rappresentazioni interne di ogni agente, garantendo uno scambio di informazioni senza perdite. Forniamo analisi teoriche che stabiliscono come LatentMAS raggiunga una maggiore espressività e una preservazione delle informazioni senza perdite, con una complessità sostanzialmente inferiore rispetto ai MAS vanilla basati su testo. Inoltre, valutazioni empiriche su 9 benchmark completi che coprono il ragionamento matematico e scientifico, la comprensione del senso comune e la generazione di codice, mostrano che LatentMAS supera costantemente solidi benchmark a modello singolo e MAS basati su testo, raggiungendo un'accuratezza superiore fino al 14,6%, riducendo l'uso di token in output del 70,8%-83,7% e fornendo un'inferenza end-to-end da 4 a 4,3 volte più veloce. Questi risultati dimostrano che il nostro nuovo framework di collaborazione latente migliora la qualità del ragionamento a livello di sistema offrendo al contempo sostanziali guadagni di efficienza senza alcun training aggiuntivo. Codice e dati sono completamente open-source all'indirizzo https://github.com/Gen-Verse/LatentMAS.

English

Multi-agent systems (MAS) extend large language models (LLMs) from independent single-model reasoning to coordinative system-level intelligence. While existing LLM agents depend on text-based mediation for reasoning and communication, we take a step forward by enabling models to collaborate directly within the continuous latent space. We introduce LatentMAS, an end-to-end training-free framework that enables pure latent collaboration among LLM agents. In LatentMAS, each agent first performs auto-regressive latent thoughts generation through last-layer hidden embeddings. A shared latent working memory then preserves and transfers each agent's internal representations, ensuring lossless information exchange. We provide theoretical analyses establishing that LatentMAS attains higher expressiveness and lossless information preservation with substantially lower complexity than vanilla text-based MAS. In addition, empirical evaluations across 9 comprehensive benchmarks spanning math and science reasoning, commonsense understanding, and code generation show that LatentMAS consistently outperforms strong single-model and text-based MAS baselines, achieving up to 14.6% higher accuracy, reducing output token usage by 70.8%-83.7%, and providing 4x-4.3x faster end-to-end inference. These results demonstrate that our new latent collaboration framework enhances system-level reasoning quality while offering substantial efficiency gains without any additional training. Code and data are fully open-sourced at https://github.com/Gen-Verse/LatentMAS.

Collaborazione Latente nei Sistemi Multi-Agente

Latent Collaboration in Multi-Agent Systems

Abstract

Support