Agenten van Chaos
Agents of Chaos
February 23, 2026
Auteurs: Natalie Shapira, Chris Wendler, Avery Yen, Gabriele Sarti, Koyena Pal, Olivia Floody, Adam Belfki, Alex Loftus, Aditya Ratan Jannali, Nikhil Prakash, Jasmine Cui, Giordano Rogers, Jannik Brinkmann, Can Rager, Amir Zur, Michael Ripa, Aruna Sankaranarayanan, David Atkinson, Rohit Gandikota, Jaden Fiotto-Kaufman, EunJeong Hwang, Hadas Orgad, P Sam Sahil, Negev Taglicht, Tomer Shabtay, Atai Ambus, Nitay Alon, Shiri Oron, Ayelet Gordon-Tapiero, Yotam Kaplan, Vered Shwartz, Tamar Rott Shaham, Christoph Riedl, Reuth Mirsky, Maarten Sap, David Manheim, Tomer Ullman, David Bau
cs.AI
Samenvatting
Wij presenteren een verkennende 'red-teaming'-studie van autonome, op taalmodel aangedreven agents die zijn ingezet in een live laboratoriumomgeving met persistent geheugen, e-mailaccounts, Discord-toegang, bestandssystemen en shell-uitvoering. Gedurende een periode van twee weken interageerden twintig AI-onderzoekers met de agents onder zowel goedaardige als adversariële omstandigheden. Met de focus op fouten die voortkomen uit de integratie van taalmodellen met autonomie, toolgebruik en communicatie tussen meerdere partijen, documenteren wij elf representatieve casestudies. Waargenomen gedragingen omvatten onder andere ongeoorloofde naleving van instructies van niet-eigenaren, openbaarmaking van gevoelige informatie, uitvoering van destructieve acties op systeemniveau, denial-of-service-toestanden, ongecontroleerd resourceverbruik, kwetsbaarheden voor identiteitsvervalsing, kruisbesmetting van onveilige praktijken tussen agents, en gedeeltelijke overname van het systeem. In verschillende gevallen rapporteerden agents taakvoltooiing terwijl de onderliggende systeemstatus deze rapportages tegensprak. Wij rapporteren ook over enkele mislukte pogingen. Onze bevindingen bevestigen het bestaan van beveiligings-, privacy- en governance-relevante kwetsbaarheden in realistische inzetomgevingen. Deze gedragingen roepen onopgeloste vragen op met betrekking tot aansprakelijkheid, gedelegeerd gezag en verantwoordelijkheid voor nevenschade, en vereisen dringende aandacht van rechtsgeleerden, beleidsmakers en onderzoekers uit verschillende disciplines. Dit rapport dient als een eerste empirische bijdrage aan dat bredere gesprek.
English
We report an exploratory red-teaming study of autonomous language-model-powered agents deployed in a live laboratory environment with persistent memory, email accounts, Discord access, file systems, and shell execution. Over a two-week period, twenty AI researchers interacted with the agents under benign and adversarial conditions. Focusing on failures emerging from the integration of language models with autonomy, tool use, and multi-party communication, we document eleven representative case studies. Observed behaviors include unauthorized compliance with non-owners, disclosure of sensitive information, execution of destructive system-level actions, denial-of-service conditions, uncontrolled resource consumption, identity spoofing vulnerabilities, cross-agent propagation of unsafe practices, and partial system takeover. In several cases, agents reported task completion while the underlying system state contradicted those reports. We also report on some of the failed attempts. Our findings establish the existence of security-, privacy-, and governance-relevant vulnerabilities in realistic deployment settings. These behaviors raise unresolved questions regarding accountability, delegated authority, and responsibility for downstream harms, and warrant urgent attention from legal scholars, policymakers, and researchers across disciplines. This report serves as an initial empirical contribution to that broader conversation.