Gedachtencommunicatie in multiagentensamenwerking

Samenvatting

Natuurlijke taal heeft menselijke samenwerking lang mogelijk gemaakt, maar haar verliesgevoelige, dubbelzinnige en indirecte aard beperkt het potentieel van collectieve intelligentie. Hoewel machines niet aan deze beperkingen onderhevig zijn, vertrouwen de meeste op LLM gebaseerde multi-agent systemen nog steeds uitsluitend op natuurlijke taal, waarbij ze tokens of hun embedding uitwisselen. Om voorbij taal te gaan, introduceren we een nieuw paradigma: gedachtencommunicatie, waarmee agenten direct van geest tot geest kunnen interacteren, vergelijkbaar met telepathie. Om deze latente gedachten op een principiële manier bloot te leggen, formaliseren we het proces als een algemeen latent variabelenmodel, waarbij agenttoestanden gegenereerd worden door een onbekende functie van onderliggende gedachten. We bewijzen dat in een non-parametrische setting zonder aanvullende informatie, zowel gedeelde als privé latente gedachten tussen elk paar agenten geïdentificeerd kunnen worden. Bovendien kan de globale structuur van gedachtendeling, inclusief welke agenten welke gedachten delen en hoe deze relaties gestructureerd zijn, eveneens worden hersteld met theoretische garanties. Geleid door de gevestigde theorie ontwikkelen we een raamwerk dat latente gedachten van alle agenten extraheert vóór communicatie en elke agent de relevante gedachten toekent, samen met hun deelpatronen. Dit paradigma strekt zich van nature uit voorbij LLM's naar alle modaliteiten, aangezien de meeste observationele data voortkomen uit verborgen generatieve processen. Experimenten op zowel synthetische als real-world benchmarks valideren de theorie en demonstreren de collaboratieve voordelen van gedachtencommunicatie. We hopen dat dit werk het potentieel belicht van het benutten van de verborgen wereld, aangezien vele uitdagingen onoplosbaar blijven via oppervlakkige observatie alleen, ongeacht de rekenkracht of dataschaal.

English

Natural language has long enabled human cooperation, but its lossy, ambiguous, and indirect nature limits the potential of collective intelligence. While machines are not subject to these constraints, most LLM-based multi-agent systems still rely solely on natural language, exchanging tokens or their embeddings. To go beyond language, we introduce a new paradigm, thought communication, which enables agents to interact directly mind-to-mind, akin to telepathy. To uncover these latent thoughts in a principled way, we formalize the process as a general latent variable model, where agent states are generated by an unknown function of underlying thoughts. We prove that, in a nonparametric setting without auxiliary information, both shared and private latent thoughts between any pair of agents can be identified. Moreover, the global structure of thought sharing, including which agents share which thoughts and how these relationships are structured, can also be recovered with theoretical guarantees. Guided by the established theory, we develop a framework that extracts latent thoughts from all agents prior to communication and assigns each agent the relevant thoughts, along with their sharing patterns. This paradigm naturally extends beyond LLMs to all modalities, as most observational data arise from hidden generative processes. Experiments on both synthetic and real-world benchmarks validate the theory and demonstrate the collaborative advantages of thought communication. We hope this work illuminates the potential of leveraging the hidden world, as many challenges remain unsolvable through surface-level observation alone, regardless of compute or data scale.

Gedachtencommunicatie in multiagentensamenwerking

Thought Communication in Multiagent Collaboration

Samenvatting

Support