Gedankenkommunikation in der Multiagenten-Kollaboration

papers.abstract

Natürliche Sprache ermöglicht seit langem menschliche Zusammenarbeit, doch ihre verlustbehaftete, mehrdeutige und indirekte Natur begrenzt das Potenzial kollektiver Intelligenz. Während Maschinen diesen Einschränkungen nicht unterliegen, stützen sich die meisten multi-agenten Systeme auf Basis von LLMs nach wie vor ausschließlich auf natürliche Sprache, indem sie Tokens oder deren Embeddings austauschen. Um über Sprache hinauszugehen, führen wir ein neues Paradigma ein: Gedankenkommunikation, die es Agenten ermöglicht, direkt von Geist zu Geist zu interagieren, ähnlich wie bei Telepathie. Um diese latenten Gedanken auf principled Weise zu entschlüsseln, formalisieren wir den Prozess als allgemeines latentes Variablenmodell, bei dem Agentenzustände durch eine unbekannte Funktion zugrundeliegender Gedanken erzeugt werden. Wir beweisen, dass in einem nichtparametrischen Setting ohne Zusatzinformationen sowohl gemeinsame als auch private latente Gedanken zwischen beliebigen Agentenpaaren identifiziert werden können. Darüber hinaus kann auch die globale Struktur der Gedankenteilung – einschließlich welcher Agent welche Gedanken teilt und wie diese Beziehungen strukturiert sind – mit theoretischen Garantien rekonstruiert werden. Angeleitet durch die etablierte Theorie entwickeln wir ein Framework, das latente Gedanken aller Agenten vor der Kommunikation extrahiert und jedem Agenten die relevanten Gedanken samt ihrer Teilungsmuster zuweist. Dieses Paradigma erstreckt sich natürlich über LLMs hinaus auf alle Modalitäten, da die meisten Beobachtungsdaten aus verborgenen generativen Prozessen stammen. Experimente mit synthetischen und realen Benchmarks validieren die Theorie und demonstrieren die kooperativen Vorteile der Gedankenkommunikation. Wir hoffen, dass diese Arbeit das Potenzial der Nutzung der verborgenen Welt aufzeigt, da viele Herausforderungen allein durch oberflächliche Beobachtung ungelöst bleiben – unabhängig von Rechenkapazität oder Datenmenge.

English

Natural language has long enabled human cooperation, but its lossy, ambiguous, and indirect nature limits the potential of collective intelligence. While machines are not subject to these constraints, most LLM-based multi-agent systems still rely solely on natural language, exchanging tokens or their embeddings. To go beyond language, we introduce a new paradigm, thought communication, which enables agents to interact directly mind-to-mind, akin to telepathy. To uncover these latent thoughts in a principled way, we formalize the process as a general latent variable model, where agent states are generated by an unknown function of underlying thoughts. We prove that, in a nonparametric setting without auxiliary information, both shared and private latent thoughts between any pair of agents can be identified. Moreover, the global structure of thought sharing, including which agents share which thoughts and how these relationships are structured, can also be recovered with theoretical guarantees. Guided by the established theory, we develop a framework that extracts latent thoughts from all agents prior to communication and assigns each agent the relevant thoughts, along with their sharing patterns. This paradigm naturally extends beyond LLMs to all modalities, as most observational data arise from hidden generative processes. Experiments on both synthetic and real-world benchmarks validate the theory and demonstrate the collaborative advantages of thought communication. We hope this work illuminates the potential of leveraging the hidden world, as many challenges remain unsolvable through surface-level observation alone, regardless of compute or data scale.

Gedankenkommunikation in der Multiagenten-Kollaboration

Thought Communication in Multiagent Collaboration

papers.abstract

Support