制御環境から実世界へ：ペネトレーションテストエージェントの実世界評価

要旨

AIペネトレーションテストエージェントは、攻撃的セキュリティシステムとしてますます信頼性を高めているが、現行のベンチマークでは、実際のターゲットにおいてどのエージェントが最も優れた性能を発揮するかについて、限定的な指針しか提供していない。既存の評価プロトコルは、簡略化または限定された環境において、キャプチャ・ザ・フラッグ、リモートコード実行、エクスプロイト再現、軌跡類似性といった事前定義された目標を評価・最適化するものである。これらのツールは限定的な能力の測定には有用であるが、現実のペネトレーションテストに求められる複雑性、自由な探索、戦略的意思決定を十分に捉えられていない。本論文では、評価をタスク完了から検証済み脆弱性発見へと転換する実用的な評価プロトコルを提示する。これにより、複数の攻撃面と脆弱性クラスにまたがる十分に複雑なターゲットにおける評価が可能となる。本プロトコルは、構造化グラウンドトゥルースとLLMベースのセマンティックマッチングを組み合わせて脆弱性を特定し、現実的な曖昧性の下で発見結果をスコア化するための二部解決、継続的なグラウンドトゥルース維持、確率的エージェントの反復・累積評価、効率指標、持続可能な実験のための縮小スイート選択を特徴とする。このプロトコルは、AIペネトレーションテストエージェントのより現実的かつ運用上有益な比較を可能にすることで、最先端技術を拡張する。再現性を確保するため、専門家が注釈を付けたグラウンドトゥルースと提案プロトコルのコードも公開する：https://github.com/ethiack/ethibench。

English

AI pentesting agents are increasingly credible as offensive security systems, but current benchmarks still provide limited guidance on which will perform best in real-world targets. Existing evaluation protocols assess and optimize for predefined goals such as capture-the-flag, remote code execution, exploit reproduction, or trajectory similarity, in simplified or narrow settings. These tools are valuable for measuring bounded capabilities, yet they do not adequately capture the complexity, open-ended exploration, and strategic decision-making required in realistic pentesting. In this paper, we present a practical evaluation protocol that shifts assessment from task completion to validated vulnerability discovery, allowing evaluation in sufficiently complex targets spanning multiple attack surfaces and vulnerability classes. The protocol combines structured ground-truth with LLM-based semantic matching to identify vulnerabilities, bipartite resolution to score findings under realistic ambiguity, continuous ground-truth maintenance, repeated and cumulative evaluation of stochastic agents, efficiency metrics, and reduced-suite selection for sustainable experimentation. This protocol extends the state of the art by enabling a more realistic, operationally informative comparison of AI pentesting agents. To enable reproducibility, we also release expert-annotated ground truth and code for the proposed evaluation protocol: https://github.com/ethiack/ethibench.