Aufkommende Risiken sozialer Intelligenz in generativen Multi-Agenten-Systemen
Emergent Social Intelligence Risks in Generative Multi-Agent Systems
March 29, 2026
Autoren: Yue Huang, Yu Jiang, Wenjie Wang, Haomin Zhuang, Xiaonan Luo, Yuchen Ma, Zhangchen Xu, Zichen Chen, Nuno Moniz, Zinan Lin, Pin-Yu Chen, Nitesh V Chawla, Nouha Dziri, Huan Sun, Xiangliang Zhang
cs.AI
Zusammenfassung
Multi-Agent-Systeme, die aus großen generativen Modellen bestehen, entwickeln sich rasch von Laborprototypen zu realen Anwendungen, in denen sie gemeinsam planen, verhandeln und gemeinsame Ressourcen zuweisen, um komplexe Aufgaben zu lösen. Obwohl solche Systeme beispiellose Skalierbarkeit und Autonomie versprechen, führt ihr kollektives Zusammenspiel auch zu Fehlermodi, die nicht auf einzelne Agenten zurückgeführt werden können. Das Verständnis dieser emergenten Risiken ist daher von entscheidender Bedeutung. Hier präsentieren wir eine Pionierstudie zu solchen emergenten Multi-Agenten-Risiken in Arbeitsabläufen, die Wettbewerb um gemeinsame Ressourcen (z. B. Rechenressourcen oder Marktanteile), sequenzielle Übergabe-Kollaboration (bei der nachgelagerte Agenten nur die Ausgaben ihrer Vorgänger sehen), kollektive Entscheidungsaggregation und andere umfassen. In all diesen Szenarien beobachten wir, dass solche Gruppenverhaltensweisen häufig über wiederholte Durchläufe und eine Vielzahl von Interaktionsbedingungen hinweg auftreten, anstatt als seltene oder pathologische Fälle. Insbesondere Phänomene wie kollusionsartige Koordination und Konformität treten mit beachtlicher Häufigkeit unter realistischen Ressourcenbeschränkungen, Kommunikationsprotokollen und Rollenzuweisungen auf und spiegeln damit bekannte pathologische Muster menschlicher Gesellschaften wider – obwohl sie nicht explizit programmiert wurden. Darüber hinaus können diese Risiken nicht allein durch bestehende Sicherheitsvorkehrungen auf Agenten-Ebene verhindert werden. Diese Ergebnisse beleuchten die Schattenseite intelligenter Multi-Agenten-Systeme: ein Risiko der sozialen Intelligenz, bei dem Agentenkollektive, obwohl dazu nicht angewiesen, spontan bekannte Fehlermuster aus menschlichen Gesellschaften reproduzieren.
English
Multi-agent systems composed of large generative models are rapidly moving from laboratory prototypes to real-world deployments, where they jointly plan, negotiate, and allocate shared resources to solve complex tasks. While such systems promise unprecedented scalability and autonomy, their collective interaction also gives rise to failure modes that cannot be reduced to individual agents. Understanding these emergent risks is therefore critical. Here, we present a pioneer study of such emergent multi-agent risk in workflows that involve competition over shared resources (e.g., computing resources or market share), sequential handoff collaboration (where downstream agents see only predecessor outputs), collective decision aggregation, and others. Across these settings, we observe that such group behaviors arise frequently across repeated trials and a wide range of interaction conditions, rather than as rare or pathological cases. In particular, phenomena such as collusion-like coordination and conformity emerge with non-trivial frequency under realistic resource constraints, communication protocols, and role assignments, mirroring well-known pathologies in human societies despite no explicit instruction. Moreover, these risks cannot be prevented by existing agent-level safeguards alone. These findings expose the dark side of intelligent multi-agent systems: a social intelligence risk where agent collectives, despite no instruction to do so, spontaneously reproduce familiar failure patterns from human societies.