Зрительный червоточина: коммуникация в латентном пространстве гетерогенных мультиагентных систем

The Vision Wormhole: Latent-Space Communication in Heterogeneous Multi-Agent Systems

February 17, 2026

Авторы: Xiaoze Liu, Ruowang Zhang, Weichen Yu, Siheng Xiong, Liu He, Feijie Wu, Hoin Jung, Matt Fredrikson, Xiaoqian Wang, Jing Gao

cs.AI

Аннотация

Многоагентные системы (МАС), основанные на больших языковых моделях, открыли возможности для продвинутого коллективного рассуждения, однако остаются скованы неэффективностью дискретной текстовой коммуникации, которая приводит к значительным накладным расходам времени выполнения и потере информации при квантовании. Хотя передача латентных состояний предлагает высокоскоростную альтернативу, существующие подходы либо предполагают однородные архитектуры отправителя-получателя, либо опираются на специализированные обученные преобразователи, что ограничивает масштабируемость и модульность для разнородных семейств моделей с несвязанными многообразиями. В данной работе мы предлагаем Vision Wormhole — новую архитектуру, которая перепрофилирует визуальный интерфейс моделей Vision-Language (VLM) для обеспечения модельно-независимой бестекстовой коммуникации. Благодаря введению универсального визуального кодека мы отображаем гетерогенные цепочки рассуждений в общее непрерывное латентное пространство и напрямую внедряем их в визуальный путь обработки получателя, используя визуальный энкодер как универсальный порт для межагентной «телепатии». Наша архитектура реализует топологию «звезда» для снижения сложности попарного согласования с O(N²) до O(N) и использует цель дистилляции «учитель-ученик» без разметки для согласования высокоскоростного визуального канала с устойчивыми паттернами рассуждений текстового пути. Экстенсивные эксперименты с разнородными семействами моделей (например, Qwen-VL, Gemma) демонстрируют, что Vision Wormhole сокращает сквозное время выполнения в контролируемых сравнениях при сохранении достоверности рассуждений, сопоставимой со стандартными текстовыми МАС. Код доступен по адресу https://github.com/xz-liu/heterogeneous-latent-mas

English

Multi-Agent Systems (MAS) powered by Large Language Models have unlocked advanced collaborative reasoning, yet they remain shackled by the inefficiency of discrete text communication, which imposes significant runtime overhead and information quantization loss. While latent state transfer offers a high-bandwidth alternative, existing approaches either assume homogeneous sender-receiver architectures or rely on pair-specific learned translators, limiting scalability and modularity across diverse model families with disjoint manifolds. In this work, we propose the Vision Wormhole, a novel framework that repurposes the visual interface of Vision-Language Models (VLMs) to enable model-agnostic, text-free communication. By introducing a Universal Visual Codec, we map heterogeneous reasoning traces into a shared continuous latent space and inject them directly into the receiver's visual pathway, effectively treating the vision encoder as a universal port for inter-agent telepathy. Our framework adopts a hub-and-spoke topology to reduce pairwise alignment complexity from O(N^2) to O(N) and leverages a label-free, teacher-student distillation objective to align the high-speed visual channel with the robust reasoning patterns of the text pathway. Extensive experiments across heterogeneous model families (e.g., Qwen-VL, Gemma) demonstrate that the Vision Wormhole reduces end-to-end wall-clock time in controlled comparisons while maintaining reasoning fidelity comparable to standard text-based MAS. Code is available at https://github.com/xz-liu/heterogeneous-latent-mas