Скрытое взаимодействие в мультиагентных системах

Аннотация

Многоагентные системы (MAS) расширяют возможности больших языковых моделей (LLM), преобразуя независимое рассуждение одиночной модели в координированный интеллект на системном уровне. В то время как существующие агенты на основе LLM полагаются на текстовое посредничество для рассуждений и коммуникации, мы делаем шаг вперед, позволяя моделям взаимодействовать напрямую в непрерывном латентном пространстве. Мы представляем LatentMAS — бестренировочный фреймворк «end-to-end», который обеспечивает чисто латентное сотрудничество между агентами LLM. В LatentMAS каждый агент сначала выполняет авторегрессионную генерацию латентных мыслей через скрытые эмбеддинги последнего слоя. Затем общая латентная рабочая память сохраняет и передает внутренние представления каждого агента, обеспечивая обмен информацией без потерь. Мы предоставляем теоретический анализ, показывающий, что LatentMAS достигает большей выразительности и сохранения информации без потерь при существенно более низкой сложности по сравнению с классическими текстовыми MAS. Кроме того, эмпирические оценки на 9 комплексных бенчмарках, охватывающих математические и научные рассуждения, понимание здравого смысла и генерацию кода, показывают, что LatentMAS стабильно превосходит сильные базовые линии одиночных моделей и текстовых MAS, демонстрируя до 14.6% более высокую точность, сокращение использования выходных токенов на 70.8%-83.7% и обеспечивая ускорение сквозного вывода в 4-4.3 раза. Эти результаты демонстрируют, что наш новый фреймворк латентного сотрудничества повышает качество системных рассуждений, одновременно обеспечивая существенный выигрыш в эффективности без какого-либо дополнительного обучения. Код и данные полностью открыты по адресу https://github.com/Gen-Verse/LatentMAS.

English

Multi-agent systems (MAS) extend large language models (LLMs) from independent single-model reasoning to coordinative system-level intelligence. While existing LLM agents depend on text-based mediation for reasoning and communication, we take a step forward by enabling models to collaborate directly within the continuous latent space. We introduce LatentMAS, an end-to-end training-free framework that enables pure latent collaboration among LLM agents. In LatentMAS, each agent first performs auto-regressive latent thoughts generation through last-layer hidden embeddings. A shared latent working memory then preserves and transfers each agent's internal representations, ensuring lossless information exchange. We provide theoretical analyses establishing that LatentMAS attains higher expressiveness and lossless information preservation with substantially lower complexity than vanilla text-based MAS. In addition, empirical evaluations across 9 comprehensive benchmarks spanning math and science reasoning, commonsense understanding, and code generation show that LatentMAS consistently outperforms strong single-model and text-based MAS baselines, achieving up to 14.6% higher accuracy, reducing output token usage by 70.8%-83.7%, and providing 4x-4.3x faster end-to-end inference. These results demonstrate that our new latent collaboration framework enhances system-level reasoning quality while offering substantial efficiency gains without any additional training. Code and data are fully open-sourced at https://github.com/Gen-Verse/LatentMAS.

Скрытое взаимодействие в мультиагентных системах

Latent Collaboration in Multi-Agent Systems

Аннотация

Support