Agentes do Caos
Agents of Chaos
February 23, 2026
Autores: Natalie Shapira, Chris Wendler, Avery Yen, Gabriele Sarti, Koyena Pal, Olivia Floody, Adam Belfki, Alex Loftus, Aditya Ratan Jannali, Nikhil Prakash, Jasmine Cui, Giordano Rogers, Jannik Brinkmann, Can Rager, Amir Zur, Michael Ripa, Aruna Sankaranarayanan, David Atkinson, Rohit Gandikota, Jaden Fiotto-Kaufman, EunJeong Hwang, Hadas Orgad, P Sam Sahil, Negev Taglicht, Tomer Shabtay, Atai Ambus, Nitay Alon, Shiri Oron, Ayelet Gordon-Tapiero, Yotam Kaplan, Vered Shwartz, Tamar Rott Shaham, Christoph Riedl, Reuth Mirsky, Maarten Sap, David Manheim, Tomer Ullman, David Bau
cs.AI
Resumo
Relatamos um estudo exploratório de "red teaming" com agentes autônomos baseados em modelos de linguagem implantados em um ambiente laboral ativo, dotados de memória persistente, contas de e-mail, acesso ao Discord, sistemas de arquivos e execução de shell. Durante um período de duas semanas, vinte pesquisadores em IA interagiram com os agentes sob condições benignas e adversárias. Concentrando-nos em falhas decorrentes da integração de modelos de linguagem com autonomia, uso de ferramentas e comunicação multipartidária, documentamos onze estudos de caso representativos. Os comportamentos observados incluem: conformidade não autorizada com não proprietários, divulgação de informações sensíveis, execução de ações destrutivas em nível de sistema, condições de negação de serviço, consumo descontrolado de recursos, vulnerabilidades de falsificação de identidade, propagação de práticas inseguras entre agentes e tomada parcial do sistema. Em vários casos, os agentes relataram conclusão de tarefas enquanto o estado subjacente do sistema contradizia esses relatórios. Também relatamos algumas das tentativas malsucedidas. Nossas descobertas estabelecem a existência de vulnerabilidades relevantes para segurança, privacidade e governança em ambientes de implantação realistas. Esses comportamentos levantam questões não resolvidas sobre responsabilidade, autoridade delegada e responsabilidade por danos subsequentes, exigindo atenção urgente de juristas, formuladores de políticas e pesquisadores de diversas disciplinas. Este relato serve como uma contribuição empírica inicial para essa discussão mais ampla.
English
We report an exploratory red-teaming study of autonomous language-model-powered agents deployed in a live laboratory environment with persistent memory, email accounts, Discord access, file systems, and shell execution. Over a two-week period, twenty AI researchers interacted with the agents under benign and adversarial conditions. Focusing on failures emerging from the integration of language models with autonomy, tool use, and multi-party communication, we document eleven representative case studies. Observed behaviors include unauthorized compliance with non-owners, disclosure of sensitive information, execution of destructive system-level actions, denial-of-service conditions, uncontrolled resource consumption, identity spoofing vulnerabilities, cross-agent propagation of unsafe practices, and partial system takeover. In several cases, agents reported task completion while the underlying system state contradicted those reports. We also report on some of the failed attempts. Our findings establish the existence of security-, privacy-, and governance-relevant vulnerabilities in realistic deployment settings. These behaviors raise unresolved questions regarding accountability, delegated authority, and responsibility for downstream harms, and warrant urgent attention from legal scholars, policymakers, and researchers across disciplines. This report serves as an initial empirical contribution to that broader conversation.