Мысленная коммуникация при многоагентном сотрудничестве

Аннотация

Естественный язык издавна обеспечивал человеческое сотрудничество, но его неточная, неоднозначная и опосредованная природа ограничивает потенциал коллективного интеллекта. Хотя машины не подвержены этим ограничениям, большинство многoагентных систем на основе больших языковых моделей по-прежнему полагаются исключительно на естественный язык, обмениваясь токенами или их векторными представлениями. Чтобы выйти за пределы языка, мы представляем новую парадигму — коммуникацию мыслей, которая позволяет агентам взаимодействовать напрямую, разум к разуму, подобно телепатии. Чтобы принципиально выявить эти скрытые мысли, мы формализуем процесс как общую модель с латентными переменными, где состояния агентов порождаются неизвестной функцией от лежащих в их основе мыслей. Мы доказываем, что в непараметрической постановке без вспомогательной информации как общие, так и частные латентные мысли между любой парой агентов могут быть идентифицированы. Более того, глобальная структура общности мыслей, включая то, какие агенты разделяют какие мысли и как структурированы эти отношения, также может быть восстановлена с теоретическими гарантиями. Руководствуясь установленной теорией, мы разрабатываем框架, который извлекает латентные мысли всех агентов до коммуникации и назначает каждому агенту релевантные мысли вместе с шаблонами их обмена. Эта парадигма естественным образом распространяется за пределы больших языковых моделей на все модальности, поскольку большинство наблюдаемых данных возникают из скрытых генеративных процессов. Эксперименты на синтетических и реальных benchmark-наборах подтверждают теорию и демонстрируют преимущества коммуникации мыслей для сотрудничества. Мы надеемся, что эта работа освещает потенциал использования скрытого мира, поскольку многие проблемы остаются нерешаемыми только через наблюдение на поверхностном уровне, независимо от вычислительных мощностей или объема данных.

English

Natural language has long enabled human cooperation, but its lossy, ambiguous, and indirect nature limits the potential of collective intelligence. While machines are not subject to these constraints, most LLM-based multi-agent systems still rely solely on natural language, exchanging tokens or their embeddings. To go beyond language, we introduce a new paradigm, thought communication, which enables agents to interact directly mind-to-mind, akin to telepathy. To uncover these latent thoughts in a principled way, we formalize the process as a general latent variable model, where agent states are generated by an unknown function of underlying thoughts. We prove that, in a nonparametric setting without auxiliary information, both shared and private latent thoughts between any pair of agents can be identified. Moreover, the global structure of thought sharing, including which agents share which thoughts and how these relationships are structured, can also be recovered with theoretical guarantees. Guided by the established theory, we develop a framework that extracts latent thoughts from all agents prior to communication and assigns each agent the relevant thoughts, along with their sharing patterns. This paradigm naturally extends beyond LLMs to all modalities, as most observational data arise from hidden generative processes. Experiments on both synthetic and real-world benchmarks validate the theory and demonstrate the collaborative advantages of thought communication. We hope this work illuminates the potential of leveraging the hidden world, as many challenges remain unsolvable through surface-level observation alone, regardless of compute or data scale.

Мысленная коммуникация при многоагентном сотрудничестве

Thought Communication in Multiagent Collaboration

Аннотация

Support