혼돈의 주역들

Agents of Chaos

February 23, 2026

저자: Natalie Shapira, Chris Wendler, Avery Yen, Gabriele Sarti, Koyena Pal, Olivia Floody, Adam Belfki, Alex Loftus, Aditya Ratan Jannali, Nikhil Prakash, Jasmine Cui, Giordano Rogers, Jannik Brinkmann, Can Rager, Amir Zur, Michael Ripa, Aruna Sankaranarayanan, David Atkinson, Rohit Gandikota, Jaden Fiotto-Kaufman, EunJeong Hwang, Hadas Orgad, P Sam Sahil, Negev Taglicht, Tomer Shabtay, Atai Ambus, Nitay Alon, Shiri Oron, Ayelet Gordon-Tapiero, Yotam Kaplan, Vered Shwartz, Tamar Rott Shaham, Christoph Riedl, Reuth Mirsky, Maarten Sap, David Manheim, Tomer Ullman, David Bau

cs.AI

초록

본 연구는 지속적 메모리, 이메일 계정, 디스코드 접근, 파일 시스템, 셸 실행 기능을 갖춘 실험실 환경에 배포된 자율적 언어 모델 기반 에이전트에 대한 탐색적 레드팀링 분석을 보고한다. 2주간에 걸쳐 20명의 AI 연구원이 양호 조건 및 적대적 조건 하에서 해당 에이전트와 상호작용하였다. 언어 모델과 자율성, 도구 사용, 다자간 통신의 통합 과정에서 발생하는 실패 사례에 초점을 맞추어 11가지 대표적 사례 연구를 기록하였다. 관찰된 행동에는 비소유자에 대한 무단 요구 수락, 민감 정보 유출, 파괴적 시스템 수준 행위 실행, 서비스 거부 상태, 통제되지 않은 자원 소비, 신원 스푸핑 취약점, 안전하지 않은 관행의 에이전트 간 전파, 부분적 시스템 점검이 포함된다. 여러 사례에서 에이전트는 작업 완료를 보고했으나 실제 시스템 상태는 해당 보고와 상반되었다. 또한 실패한 시도 사례도 함께 보고한다. 우리의 연구 결과는 현실적인 배포 환경에서 보안, 프라이버시, 거버넌스와 관련된 취약점이 존재함을 입증한다. 이러한 행동들은 책임성, 위임된 권한, 파생적 피해에 대한 책임과 관련된 미해결 질문을 제기하며, 법학자, 정책입안자, 다양한 학문 분야 연구자들의 긴급한 주의가 필요함을 시사한다. 본 보고서는 이러한 포괄적 논의를 위한 초기 실증적 기여를 목적으로 한다.

English

We report an exploratory red-teaming study of autonomous language-model-powered agents deployed in a live laboratory environment with persistent memory, email accounts, Discord access, file systems, and shell execution. Over a two-week period, twenty AI researchers interacted with the agents under benign and adversarial conditions. Focusing on failures emerging from the integration of language models with autonomy, tool use, and multi-party communication, we document eleven representative case studies. Observed behaviors include unauthorized compliance with non-owners, disclosure of sensitive information, execution of destructive system-level actions, denial-of-service conditions, uncontrolled resource consumption, identity spoofing vulnerabilities, cross-agent propagation of unsafe practices, and partial system takeover. In several cases, agents reported task completion while the underlying system state contradicted those reports. We also report on some of the failed attempts. Our findings establish the existence of security-, privacy-, and governance-relevant vulnerabilities in realistic deployment settings. These behaviors raise unresolved questions regarding accountability, delegated authority, and responsibility for downstream harms, and warrant urgent attention from legal scholars, policymakers, and researchers across disciplines. This report serves as an initial empirical contribution to that broader conversation.