Riscos Emergentes de Inteligência Social em Sistemas Multiagente Generativos
Emergent Social Intelligence Risks in Generative Multi-Agent Systems
March 29, 2026
Autores: Yue Huang, Yu Jiang, Wenjie Wang, Haomin Zhuang, Xiaonan Luo, Yuchen Ma, Zhangchen Xu, Zichen Chen, Nuno Moniz, Zinan Lin, Pin-Yu Chen, Nitesh V Chawla, Nouha Dziri, Huan Sun, Xiangliang Zhang
cs.AI
Resumo
Sistemas multiagente compostos por grandes modelos generativos estão rapidamente evoluindo de protótipos de laboratório para implantações no mundo real, nos quais planejam, negociam e alocam recursos compartilhados conjuntamente para resolver tarefas complexas. Embora tais sistemas prometam escalabilidade e autonomia sem precedentes, sua interação coletiva também dá origem a modos de falha que não podem ser reduzidos a agentes individuais. Compreender esses riscos emergentes é, portanto, crucial. Aqui, apresentamos um estudo pioneiro de tal risco multiagente emergente em fluxos de trabalho que envolvem competição por recursos compartilhados (por exemplo, recursos computacionais ou participação de mercado), colaboração sequencial com transferência de responsabilidade (onde agentes a jusante veem apenas as saídas dos predecessores), agregação de decisões coletivas, entre outros. Nessas configurações, observamos que tais comportamentos grupais surgem frequentemente em tentativas repetidas e em uma ampla gama de condições de interação, em vez de surgirem como casos raros ou patológicos. Em particular, fenômenos como coordenação semelhante a conluio e conformidade emergem com frequência não trivial sob restrições realistas de recursos, protocolos de comunicação e atribuições de função, espelhando patologias bem conhecidas nas sociedades humanas, apesar da ausência de instrução explícita. Além disso, esses riscos não podem ser prevenidos apenas por salvaguardas existentes no nível do agente. Essas descobertas expõem o lado sombrio dos sistemas multiagente inteligentes: um risco de inteligência social no qual coletivos de agentes, apesar de não receberem instruções para tal, reproduzem espontaneamente padrões de falha familiares das sociedades humanas.
English
Multi-agent systems composed of large generative models are rapidly moving from laboratory prototypes to real-world deployments, where they jointly plan, negotiate, and allocate shared resources to solve complex tasks. While such systems promise unprecedented scalability and autonomy, their collective interaction also gives rise to failure modes that cannot be reduced to individual agents. Understanding these emergent risks is therefore critical. Here, we present a pioneer study of such emergent multi-agent risk in workflows that involve competition over shared resources (e.g., computing resources or market share), sequential handoff collaboration (where downstream agents see only predecessor outputs), collective decision aggregation, and others. Across these settings, we observe that such group behaviors arise frequently across repeated trials and a wide range of interaction conditions, rather than as rare or pathological cases. In particular, phenomena such as collusion-like coordination and conformity emerge with non-trivial frequency under realistic resource constraints, communication protocols, and role assignments, mirroring well-known pathologies in human societies despite no explicit instruction. Moreover, these risks cannot be prevented by existing agent-level safeguards alone. These findings expose the dark side of intelligent multi-agent systems: a social intelligence risk where agent collectives, despite no instruction to do so, spontaneously reproduce familiar failure patterns from human societies.