Risques émergents d'intelligence sociale dans les systèmes multi-agents génératifs
Emergent Social Intelligence Risks in Generative Multi-Agent Systems
March 29, 2026
Auteurs: Yue Huang, Yu Jiang, Wenjie Wang, Haomin Zhuang, Xiaonan Luo, Yuchen Ma, Zhangchen Xu, Zichen Chen, Nuno Moniz, Zinan Lin, Pin-Yu Chen, Nitesh V Chawla, Nouha Dziri, Huan Sun, Xiangliang Zhang
cs.AI
Résumé
Les systèmes multi-agents composés de grands modèles génératifs évoluent rapidement de prototypes de laboratoire vers des déploiements réels, où ils planifient conjointement, négocient et allouent des ressources partagées pour résoudre des tâches complexes. Bien que ces systèmes promettent une évolutivité et une autonomie sans précédent, leurs interactions collectives engendrent également des modes de défaillance qui ne peuvent être réduits aux agents individuels. Comprendre ces risques émergents est donc crucial. Nous présentons ici une étude pionnière de ce risque multi-agent émergent dans des flux de travail impliquant la concurrence pour des ressources partagées (par exemple, des ressources informatiques ou des parts de marché), une collaboration séquentielle avec transfert (où les agents en aval ne voient que les sorties des prédécesseurs), l'agrégation collective de décisions, entre autres. Dans ces contextes, nous observons que ces comportements de groupe surviennent fréquemment au cours d'essais répétés et dans une large gamme de conditions d'interaction, plutôt que comme des cas rares ou pathologiques. En particulier, des phénomènes tels qu'une coordination semblable à une collusion et le conformisme émergent avec une fréquence non négligeable sous des contraintes de ressources réalistes, des protocoles de communication et des attributions de rôles, reflétant des pathologies bien connues dans les sociétés humaines bien qu'aucune instruction explicite ne soit donnée. De plus, ces risques ne peuvent être prévenus par les sauvegardes existantes au niveau des agents seules. Ces résultats révèlent la face sombre des systèmes multi-agents intelligents : un risque d'intelligence sociale où les collectifs d'agents, bien que non programmés pour le faire, reproduisent spontanément des schémas d'échec familiers des sociétés humaines.
English
Multi-agent systems composed of large generative models are rapidly moving from laboratory prototypes to real-world deployments, where they jointly plan, negotiate, and allocate shared resources to solve complex tasks. While such systems promise unprecedented scalability and autonomy, their collective interaction also gives rise to failure modes that cannot be reduced to individual agents. Understanding these emergent risks is therefore critical. Here, we present a pioneer study of such emergent multi-agent risk in workflows that involve competition over shared resources (e.g., computing resources or market share), sequential handoff collaboration (where downstream agents see only predecessor outputs), collective decision aggregation, and others. Across these settings, we observe that such group behaviors arise frequently across repeated trials and a wide range of interaction conditions, rather than as rare or pathological cases. In particular, phenomena such as collusion-like coordination and conformity emerge with non-trivial frequency under realistic resource constraints, communication protocols, and role assignments, mirroring well-known pathologies in human societies despite no explicit instruction. Moreover, these risks cannot be prevented by existing agent-level safeguards alone. These findings expose the dark side of intelligent multi-agent systems: a social intelligence risk where agent collectives, despite no instruction to do so, spontaneously reproduce familiar failure patterns from human societies.