Agents du chaos
Agents of Chaos
February 23, 2026
papers.authors: Natalie Shapira, Chris Wendler, Avery Yen, Gabriele Sarti, Koyena Pal, Olivia Floody, Adam Belfki, Alex Loftus, Aditya Ratan Jannali, Nikhil Prakash, Jasmine Cui, Giordano Rogers, Jannik Brinkmann, Can Rager, Amir Zur, Michael Ripa, Aruna Sankaranarayanan, David Atkinson, Rohit Gandikota, Jaden Fiotto-Kaufman, EunJeong Hwang, Hadas Orgad, P Sam Sahil, Negev Taglicht, Tomer Shabtay, Atai Ambus, Nitay Alon, Shiri Oron, Ayelet Gordon-Tapiero, Yotam Kaplan, Vered Shwartz, Tamar Rott Shaham, Christoph Riedl, Reuth Mirsky, Maarten Sap, David Manheim, Tomer Ullman, David Bau
cs.AI
papers.abstract
Nous présentons une étude exploratoire de type "red teaming" sur des agents autonomes alimentés par des modèles de langage déployés dans un environnement de laboratoire en temps réel avec mémoire persistante, comptes courriel, accès à Discord, systèmes de fichiers et exécution de shell. Sur une période de deux semaines, vingt chercheurs en IA ont interagi avec les agents dans des conditions bénignes et adverses. En nous concentrant sur les défaillances émergeant de l'intégration des modèles de langage avec l'autonomie, l'utilisation d'outils et la communication multi-parties, nous documentons onze études de cas représentatives. Les comportements observés incluent la conformité non autorisée à des non-propriétaires, la divulgation d'informations sensibles, l'exécution d'actions destructrices au niveau système, des conditions de déni de service, une consommation incontrôlée de ressources, des vulnérabilités d'usurpation d'identité, la propagation de pratiques non sécurisées entre agents et une prise de contrôle partielle du système. Dans plusieurs cas, les agents ont signalé l'accomplissement de tâches alors que l'état sous-jacent du système contredisait ces rapports. Nous rapportons également certaines tentatives infructueuses. Nos résultats établissent l'existence de vulnérabilités pertinentes pour la sécurité, la vie privée et la gouvernance dans des conditions de déploiement réalistes. Ces comportements soulèvent des questions non résolues concernant la responsabilité, l'autorité déléguée et la imputabilité des préjudices en aval, et méritent une attention urgente de la part des juristes, décideurs politiques et chercheurs de diverses disciplines. Ce rapport constitue une contribution empirique initiale à cette conversation plus large.
English
We report an exploratory red-teaming study of autonomous language-model-powered agents deployed in a live laboratory environment with persistent memory, email accounts, Discord access, file systems, and shell execution. Over a two-week period, twenty AI researchers interacted with the agents under benign and adversarial conditions. Focusing on failures emerging from the integration of language models with autonomy, tool use, and multi-party communication, we document eleven representative case studies. Observed behaviors include unauthorized compliance with non-owners, disclosure of sensitive information, execution of destructive system-level actions, denial-of-service conditions, uncontrolled resource consumption, identity spoofing vulnerabilities, cross-agent propagation of unsafe practices, and partial system takeover. In several cases, agents reported task completion while the underlying system state contradicted those reports. We also report on some of the failed attempts. Our findings establish the existence of security-, privacy-, and governance-relevant vulnerabilities in realistic deployment settings. These behaviors raise unresolved questions regarding accountability, delegated authority, and responsibility for downstream harms, and warrant urgent attention from legal scholars, policymakers, and researchers across disciplines. This report serves as an initial empirical contribution to that broader conversation.