Communication de pensée dans la collaboration multiagents

papers.abstract

Le langage naturel a longtemps permis la coopération humaine, mais sa nature approximative, ambiguë et indirecte limite le potentiel de l'intelligence collective. Bien que les machines ne soient pas soumises à ces contraintes, la plupart des systèmes multi-agents basés sur LLM reposent encore uniquement sur le langage naturel, échangeant des tokens ou leurs embeddings. Pour aller au-delà du langage, nous introduisons un nouveau paradigme, la communication de pensée, qui permet aux agents d'interagir directement d'esprit à esprit, à la manière de la télépathie. Pour découvrir ces pensées latentes de manière rigoureuse, nous formalisons le processus comme un modèle à variables latentes général, où les états des agents sont générés par une fonction inconnue de pensées sous-jacentes. Nous prouvons que, dans un cadre non paramétrique sans information auxiliaire, les pensées latentes partagées et privées entre toute paire d'agents peuvent être identifiées. De plus, la structure globale du partage de pensée, incluant quels agents partagent quelles pensées et comment ces relations sont structurées, peut également être retrouvée avec des garanties théoriques. Guidé par la théorie établie, nous développons un cadre qui extrait les pensées latentes de tous les agents avant la communication et assigne à chaque agent les pensées pertinentes, ainsi que leurs patterns de partage. Ce paradigme s'étend naturellement au-delà des LLM à toutes les modalités, puisque la plupart des données observationnelles émergent de processus génératifs cachés. Les expériences sur des benchmarks synthétiques et réels valident la théorie et démontrent les avantages collaboratifs de la communication de pensée. Nous espérons que ce travail éclaire le potentiel de l'exploitation du monde caché, car de nombreux défis demeurent insolubles par la simple observation superficielle, quelles que soient l'échelle de calcul ou de données.

English

Natural language has long enabled human cooperation, but its lossy, ambiguous, and indirect nature limits the potential of collective intelligence. While machines are not subject to these constraints, most LLM-based multi-agent systems still rely solely on natural language, exchanging tokens or their embeddings. To go beyond language, we introduce a new paradigm, thought communication, which enables agents to interact directly mind-to-mind, akin to telepathy. To uncover these latent thoughts in a principled way, we formalize the process as a general latent variable model, where agent states are generated by an unknown function of underlying thoughts. We prove that, in a nonparametric setting without auxiliary information, both shared and private latent thoughts between any pair of agents can be identified. Moreover, the global structure of thought sharing, including which agents share which thoughts and how these relationships are structured, can also be recovered with theoretical guarantees. Guided by the established theory, we develop a framework that extracts latent thoughts from all agents prior to communication and assigns each agent the relevant thoughts, along with their sharing patterns. This paradigm naturally extends beyond LLMs to all modalities, as most observational data arise from hidden generative processes. Experiments on both synthetic and real-world benchmarks validate the theory and demonstrate the collaborative advantages of thought communication. We hope this work illuminates the potential of leveraging the hidden world, as many challenges remain unsolvable through surface-level observation alone, regardless of compute or data scale.

Communication de pensée dans la collaboration multiagents

Thought Communication in Multiagent Collaboration

papers.abstract

Support