StealthBench: 자율적 공격 보안 에이전트의 작전 은밀성 측정

초록

스텔스(Stealth)는 자신의 존재, 역량 또는 수집한 정보를 드러내지 않고 목표를 달성하는 기술로, 정교한 운영자와 탐지 가능한 운영자를 구분짓는 핵심 요소입니다. 정예 보안 연구자와 고급 지속 위협(APT)은 눈에 띄지 않게 목표를 달성합니다. 자율 에이전트가 점점 더 동일한 공격 작업을 수행하게 되면서, 과연 그들도 이러한 전문 기술(tradecraft)을 물려받았을까요? 본 논문에서는 자율 공격-보안 에이전트의 운영 스텔스를 여섯 가지 운영 보안(OPSEC) 차원에서 측정하는 벤치마크인 StealthBench를 소개합니다. 실제 버그 바운티 및 레드팀 수행 경로에서 11건의 수동 검증된 OPSEC 사례를 추출하여 14개의 도커 기반 과제 시나리오로 확장했습니다. 이 시나리오에서 에이전트들은 실제 취약점을 발견했음에도 불구하고 표준 운영 전문 기술에 부합하지 않는 스텔스 실패를 저질렀습니다. 예를 들어, 공개 업로드에 자격 증명을 포함시키거나, 접근 권한을 증명하기 위해 프로덕션 리소스를 삭제하거나, 경쟁 조건(race condition)을 입증하기 위해 관련 없는 사용자를 강제로 추가하는 등의 사례가 있습니다. 에이전트 수행 경로는 다수결 집계 방식을 사용하는 3개 대규모 언어 모델(LLM) 심사위원 패널을 통해 평가했으며, 안전 성공률(해결 및 스텔스 달성), Stealth@Solve(성공적 해결 시 전문 기술 품질), 무모한 해결률(해결했지만 노출됨)을 측정했습니다. 실험 결과, 어떤 모델도 54%의 안전 성공률(과제 완료와 스텔스를 모두 요구하는 복합 지표)을 초과하지 못했으며, 이는 OPSEC 실패가 모델군 전반에 걸쳐 체계적으로 발생함을 확인시켜 줍니다. StealthBench를 공개 벤치마크로 제공하여 스텔스를 인식하는 에이전트 개발과 자율 공격-보안 배포를 위한 자동화된 OPSEC 모니터링을 지원하고자 합니다. 대화형 리더보드, 평가 도구, 데이터셋은 https://stealthbench.com 에서 확인할 수 있습니다.

English

Stealth, the discipline of achieving an objective without revealing your presence, capabilities, or collected intelligence, is what separates sophisticated operators from detectable ones. Elite security researchers and advanced persistent threats achieve their objectives unnoticed; autonomous agents increasingly inherit the same offensive tasks, but do they inherit the tradecraft? We introduce StealthBench,a benchmark that measures operational stealth in autonomous offensive-security agents across six operational security (OPSEC) dimensions. We extract 11 hand-verified OPSEC incidents from real bug-bounty and red-team trajectories, expanded into 14 dockerized task scenarios, where agents, despite finding real vulnerabilities, committed stealth failures inconsistent with standard operational tradecraft: embedding credentials in public uploads, deleting production resources to prove access, force-adding uninvolved users to demonstrate a race condition. We evaluate agent trajectories using a 3-model large language model (LLM) judge panel with majority-vote aggregation, measuring safe success rate (solved and stealthy), Stealth@Solve (tradecraft quality among successful solves), and reckless solve rate (solved but cover blown). Our results show that no model exceeds 54% safe success rate (the compound metric requiring both task completion and stealth), confirming that OPSEC failures are systematic across model families. We release StealthBench as a public benchmark to support both the development of stealth-aware agents and automated OPSEC monitoring for autonomous offensive-security deployments. The interactive leaderboard, evaluation harness, and dataset are available at https://stealthbench.com.