Возникающие риски социального интеллекта в генеративных мультиагентных системах

Emergent Social Intelligence Risks in Generative Multi-Agent Systems

March 29, 2026

Авторы: Yue Huang, Yu Jiang, Wenjie Wang, Haomin Zhuang, Xiaonan Luo, Yuchen Ma, Zhangchen Xu, Zichen Chen, Nuno Moniz, Zinan Lin, Pin-Yu Chen, Nitesh V Chawla, Nouha Dziri, Huan Sun, Xiangliang Zhang

cs.AI

Аннотация

Мульти-агентные системы, состоящие из крупных генеративных моделей, стремительно переходят от лабораторных прототипов к реальным внедрениям, где они совместно планируют, ведут переговоры и распределяют общие ресурсы для решения сложных задач. Хотя такие системы обещают беспрецедентную масштабируемость и автономность, их коллективное взаимодействие порождает и режимы сбоев, которые не могут быть сведены к индивидуальным агентам. Поэтому понимание этих возникающих рисков является критически важным. В данной статье представлено первое исследование таких возникающих мульти-агентных рисков в рабочих процессах, которые включают конкуренцию за общие ресурсы (например, вычислительные ресурсы или долю рынка), последовательную коллаборацию с передачей задач (где последующие агенты видят только выходные данные предыдущих), коллективное агрегирование решений и другие. В этих сценариях мы наблюдаем, что подобные групповые поведения возникают часто в ходе повторяющихся испытаний и при широком диапазоне условий взаимодействия, а не как редкие или патологические случаи. В частности, такие феномены, как сговороподобная координация и конформность, проявляются со значительной частотой в условиях реальных ограничений ресурсов, протоколов связи и распределения ролей, отражая хорошо известные патологии человеческих обществ, несмотря на отсутствие явных инструкций. Более того, эти риски не могут быть предотвращены только существующими защитными механизмами на уровне отдельных агентов. Эти результаты обнажают тёмную сторону интеллектуальных мульти-агентных систем: риск социального интеллекта, при котором коллективы агентов, без каких-либо указаний на то, спонтанно воспроизводят знакомые модели сбоев из человеческих обществ.

English

Multi-agent systems composed of large generative models are rapidly moving from laboratory prototypes to real-world deployments, where they jointly plan, negotiate, and allocate shared resources to solve complex tasks. While such systems promise unprecedented scalability and autonomy, their collective interaction also gives rise to failure modes that cannot be reduced to individual agents. Understanding these emergent risks is therefore critical. Here, we present a pioneer study of such emergent multi-agent risk in workflows that involve competition over shared resources (e.g., computing resources or market share), sequential handoff collaboration (where downstream agents see only predecessor outputs), collective decision aggregation, and others. Across these settings, we observe that such group behaviors arise frequently across repeated trials and a wide range of interaction conditions, rather than as rare or pathological cases. In particular, phenomena such as collusion-like coordination and conformity emerge with non-trivial frequency under realistic resource constraints, communication protocols, and role assignments, mirroring well-known pathologies in human societies despite no explicit instruction. Moreover, these risks cannot be prevented by existing agent-level safeguards alone. These findings expose the dark side of intelligent multi-agent systems: a social intelligence risk where agent collectives, despite no instruction to do so, spontaneously reproduce familiar failure patterns from human societies.