Rischi Emergenti di Intelligenza Sociale nei Sistemi Multi-Agente Generativi

Abstract

I sistemi multi-agente composti da grandi modelli generativi stanno rapidamente evolvendo da prototipi di laboratorio a implementazioni nel mondo reale, dove pianificano congiuntamente, negoziano e allocano risorse condivise per risolvere compiti complessi. Sebbene tali sistemi promettano scalabilità e autonomia senza precedenti, la loro interazione collettiva dà origine anche a modalità di fallimento che non possono essere ridotte ai singoli agenti. Comprendere questi rischi emergenti è quindi fondamentale. Presentiamo qui uno studio pionieristico di tale rischio multi-agente emergente in workflow che coinvolgono competizione per risorse condivise (ad esempio risorse computazionali o quote di mercato), collaborazione sequenziale con passaggio di consegne (dove gli agenti a valle vedono solo gli output dei predecessori), aggregazione decisionale collettiva e altri. In questi contesti, osserviamo che tali comportamenti di gruppo si manifestano frequentemente in prove ripetute e in un'ampia gamma di condizioni di interazione, piuttosto che come casi rari o patologici. In particolare, fenomeni come coordinazione simil-collusione e conformismo emergono con frequenza non trascurabile sotto vincoli realistici di risorse, protocolli di comunicazione e assegnazioni di ruoli, rispecchiando patologie ben note nelle società umane nonostante nessun'istruzione esplicita. Inoltre, questi rischi non possono essere prevenuti solo da salvaguardie esistenti a livello di agente. Questi risultati espongono il lato oscuro dei sistemi multi-agente intelligenti: un rischio di intelligenza sociale in cui i collettivi di agenti, nonostante nessuna istruzione in tal senso, riproducono spontaneamente schemi di fallimento familiari dalle società umane.

English

Multi-agent systems composed of large generative models are rapidly moving from laboratory prototypes to real-world deployments, where they jointly plan, negotiate, and allocate shared resources to solve complex tasks. While such systems promise unprecedented scalability and autonomy, their collective interaction also gives rise to failure modes that cannot be reduced to individual agents. Understanding these emergent risks is therefore critical. Here, we present a pioneer study of such emergent multi-agent risk in workflows that involve competition over shared resources (e.g., computing resources or market share), sequential handoff collaboration (where downstream agents see only predecessor outputs), collective decision aggregation, and others. Across these settings, we observe that such group behaviors arise frequently across repeated trials and a wide range of interaction conditions, rather than as rare or pathological cases. In particular, phenomena such as collusion-like coordination and conformity emerge with non-trivial frequency under realistic resource constraints, communication protocols, and role assignments, mirroring well-known pathologies in human societies despite no explicit instruction. Moreover, these risks cannot be prevented by existing agent-level safeguards alone. These findings expose the dark side of intelligent multi-agent systems: a social intelligence risk where agent collectives, despite no instruction to do so, spontaneously reproduce familiar failure patterns from human societies.

Rischi Emergenti di Intelligenza Sociale nei Sistemi Multi-Agente Generativi

Emergent Social Intelligence Risks in Generative Multi-Agent Systems

Abstract

Support