生成的マルチエージェントシステムにおける創発的社会的知能リスク

Emergent Social Intelligence Risks in Generative Multi-Agent Systems

March 29, 2026

著者: Yue Huang, Yu Jiang, Wenjie Wang, Haomin Zhuang, Xiaonan Luo, Yuchen Ma, Zhangchen Xu, Zichen Chen, Nuno Moniz, Zinan Lin, Pin-Yu Chen, Nitesh V Chawla, Nouha Dziri, Huan Sun, Xiangliang Zhang

cs.AI

要旨

大規模生成モデルで構成されるマルチエージェントシステムは、複雑なタスクを解決するために共同で計画立案、交渉、共有リソースの配分を行うという形で、実験室のプロトタイプから実世界への展開へ急速に移行しつつある。このようなシステムは前例のない拡張性と自律性を約束する一方で、エージェント間の集団的相互作用は、個々のエージェントに還元できない故障モードを生み出す。したがって、これらの創発的リスクを理解することが極めて重要である。本稿では、共有リソース（計算リソースや市場占有率など）を巡る競争、逐次的な引き継ぎ型協業（下流のエージェントが前段階の出力のみを受け取る場合）、集団的な意思決定の集約などを含むワークフローにおいて、このような創発的なマルチエージェントリスクに関する先駆的研究を提示する。これらの設定において、我々は、こうした集団的行動が稀な事例や病的な事例としてではなく、反復試行や多様な相互作用条件において頻繁に発生することを観察した。特に、現実的なリソース制約、通信プロトコル、役割割り当ての下で、談合的な調整や同調といった現象が無視できない頻度で創発し、明示的な指示がなくとも人間社会でよく知られた問題を反映している。さらに、これらのリスクは既存のエージェントレベルの保護措置だけでは防止できない。これらの知見は、知的なマルチエージェントシステムの暗黒面、すなわち、エージェント集団が指示されていないにもかかわらず、自発的に人間社会から見慣れた失敗パターンを再現するという「社会的知能リスク」を露わにしている。

English

Multi-agent systems composed of large generative models are rapidly moving from laboratory prototypes to real-world deployments, where they jointly plan, negotiate, and allocate shared resources to solve complex tasks. While such systems promise unprecedented scalability and autonomy, their collective interaction also gives rise to failure modes that cannot be reduced to individual agents. Understanding these emergent risks is therefore critical. Here, we present a pioneer study of such emergent multi-agent risk in workflows that involve competition over shared resources (e.g., computing resources or market share), sequential handoff collaboration (where downstream agents see only predecessor outputs), collective decision aggregation, and others. Across these settings, we observe that such group behaviors arise frequently across repeated trials and a wide range of interaction conditions, rather than as rare or pathological cases. In particular, phenomena such as collusion-like coordination and conformity emerge with non-trivial frequency under realistic resource constraints, communication protocols, and role assignments, mirroring well-known pathologies in human societies despite no explicit instruction. Moreover, these risks cannot be prevented by existing agent-level safeguards alone. These findings expose the dark side of intelligent multi-agent systems: a social intelligence risk where agent collectives, despite no instruction to do so, spontaneously reproduce familiar failure patterns from human societies.