통제된 환경에서 실전으로: 실제 세계를 위한 침투 테스트 에이전트 평가

초록

AI 침투 테스트 에이전트는 공격적 보안 시스템으로서 점차 신뢰성을 얻고 있지만, 현재의 벤치마크는 실제 대상에서 어떤 에이전트가 가장 우수한 성능을 발휘할지에 대한 제한적인 지침만을 제공한다. 기존 평가 프로토콜은 깃발 뺏기(CTF), 원격 코드 실행, 익스플로잇 재현, 궤적 유사도와 같은 사전 정의된 목표를 단순화되거나 협소한 환경에서 평가하고 최적화한다. 이러한 도구는 제한된 능력을 측정하는 데 유용하지만, 실제 침투 테스트에 필요한 복잡성, 개방형 탐색, 전략적 의사결정을 적절히 포착하지 못한다. 본 논문에서는 평가 기준을 작업 완료에서 검증된 취약점 발견으로 전환하여, 여러 공격 표면과 취약점 클래스에 걸친 충분히 복잡한 대상을 평가할 수 있는 실용적인 평가 프로토콜을 제시한다. 이 프로토콜은 구조화된 정답(ground-truth)과 LLM 기반 의미 매칭을 결합하여 취약점을 식별하고, 현실적 모호성 하에서 결과를 평가하기 위한 이분 매칭 해결, 지속적인 정답 유지 관리, 확률적 에이전트의 반복 및 누적 평가, 효율성 지표, 지속 가능한 실험을 위한 축소된 스위트 선택을 포함한다. 이 프로토콜은 AI 침투 테스트 에이전트의 보다 현실적이고 운영적으로 유의미한 비교를 가능하게 함으로써 최신 기술을 확장한다. 재현성을 보장하기 위해, 제안된 평가 프로토콜에 대한 전문가 주석 정답과 코드도 공개한다: https://github.com/ethiack/ethibench.

English

AI pentesting agents are increasingly credible as offensive security systems, but current benchmarks still provide limited guidance on which will perform best in real-world targets. Existing evaluation protocols assess and optimize for predefined goals such as capture-the-flag, remote code execution, exploit reproduction, or trajectory similarity, in simplified or narrow settings. These tools are valuable for measuring bounded capabilities, yet they do not adequately capture the complexity, open-ended exploration, and strategic decision-making required in realistic pentesting. In this paper, we present a practical evaluation protocol that shifts assessment from task completion to validated vulnerability discovery, allowing evaluation in sufficiently complex targets spanning multiple attack surfaces and vulnerability classes. The protocol combines structured ground-truth with LLM-based semantic matching to identify vulnerabilities, bipartite resolution to score findings under realistic ambiguity, continuous ground-truth maintenance, repeated and cumulative evaluation of stochastic agents, efficiency metrics, and reduced-suite selection for sustainable experimentation. This protocol extends the state of the art by enabling a more realistic, operationally informative comparison of AI pentesting agents. To enable reproducibility, we also release expert-annotated ground truth and code for the proposed evaluation protocol: https://github.com/ethiack/ethibench.