Het Vision Wormhole: Latent-Ruimte Communicatie in Heterogene Multi-Agent Systemen

The Vision Wormhole: Latent-Space Communication in Heterogeneous Multi-Agent Systems

February 17, 2026

Auteurs: Xiaoze Liu, Ruowang Zhang, Weichen Yu, Siheng Xiong, Liu He, Feijie Wu, Hoin Jung, Matt Fredrikson, Xiaoqian Wang, Jing Gao

cs.AI

Samenvatting

Multi-Agent Systemen (MAS) die worden aangedreven door Large Language Models hebben geavanceerd collaboratief redeneren mogelijk gemaakt, maar blijven geketend door de inefficiëntie van discrete tekstcommunicatie, wat aanzienlijke runtime-overhead en informatieverlies door kwantisatie met zich meebrengt. Hoewel latente staatsoverdracht een alternatief met hoge bandbreedte biedt, veronderstellen bestaande benaderingen ofwel homogene zender-ontvanger-architecturen of vertrouwen ze op paar-specifieke, aangeleerde vertalers, wat de schaalbaarheid en modulariteit over diverse modelfamilies met gescheiden variëteiten beperkt. In dit werk stellen wij de Vision Wormhole voor, een nieuw raamwerk dat de visuele interface van Vision-Language Models (VLM's) hergebruikt om model-agnostische, tekstvrije communicatie mogelijk te maken. Door een Universele Visuele Codec te introduceren, vertalen we heterogene redeneersporen naar een gedeelde continue latente ruimte en injecteren deze direct in het visuele pad van de ontvanger, waarbij de visuele encoder effectief wordt behandeld als een universele poort voor inter-agent telepathie. Ons raamwerk adopteert een topologie met een hub-en-spoke-structuur om de complexiteit van paarsgewijze afstemming van O(N²) naar O(N) te reduceren en benut een labelvrije teacher-student-distillatiedoelfunctie om het hogesnelheidsvisuele kanaal af te stemmen op de robuuste redeneerpatronen van het tekstpad. Uitgebreide experimenten met diverse modelfamilies (bijv. Qwen-VL, Gemma) tonen aan dat de Vision Wormhole de end-to-end wall-clock tijd in gecontroleerde vergelijkingen reduceert, terwijl de redeneernauwkeurigheid vergelijkbaar blijft met standaard op tekst gebaseerde MAS. Code is beschikbaar op https://github.com/xz-liu/heterogeneous-latent-mas.

English

Multi-Agent Systems (MAS) powered by Large Language Models have unlocked advanced collaborative reasoning, yet they remain shackled by the inefficiency of discrete text communication, which imposes significant runtime overhead and information quantization loss. While latent state transfer offers a high-bandwidth alternative, existing approaches either assume homogeneous sender-receiver architectures or rely on pair-specific learned translators, limiting scalability and modularity across diverse model families with disjoint manifolds. In this work, we propose the Vision Wormhole, a novel framework that repurposes the visual interface of Vision-Language Models (VLMs) to enable model-agnostic, text-free communication. By introducing a Universal Visual Codec, we map heterogeneous reasoning traces into a shared continuous latent space and inject them directly into the receiver's visual pathway, effectively treating the vision encoder as a universal port for inter-agent telepathy. Our framework adopts a hub-and-spoke topology to reduce pairwise alignment complexity from O(N^2) to O(N) and leverages a label-free, teacher-student distillation objective to align the high-speed visual channel with the robust reasoning patterns of the text pathway. Extensive experiments across heterogeneous model families (e.g., Qwen-VL, Gemma) demonstrate that the Vision Wormhole reduces end-to-end wall-clock time in controlled comparisons while maintaining reasoning fidelity comparable to standard text-based MAS. Code is available at https://github.com/xz-liu/heterogeneous-latent-mas