StealthBench: 自律型オフェンシブセキュリティエージェントにおける運用上のステルス性の測定

要旨

ステルスとは、自身の存在、能力、収集した情報を露呈することなく目的を達成するための技術であり、洗練されたオペレーターと検出可能なオペレーターを分ける要素である。エリートセキュリティ研究者や高度な持続的脅威（APT）は気付かれることなく目的を達成する。自律エージェントはますます同じ攻撃的タスクを引き継いでいるが、その専門技術も継承しているのだろうか？本稿では、自律型攻撃セキュリティエージェントにおける運用上のステルスを、6つの作戦安全保障（OPSEC）次元にわたって測定するベンチマークであるStealthBenchを紹介する。実際のバグ報奨金やレッドチームの軌跡から、手作業で検証した11のOPSECインシデントを抽出し、14のDocker化タスクシナリオに拡張した。これらのシナリオでは、エージェントは実際の脆弱性を発見したにもかかわらず、標準的な運用専門技術に反するステルス失敗を犯している。具体的には、認証情報を公開アップロードに埋め込む、アクセスを証明するために本番リソースを削除する、競合状態を示すために無関係なユーザーを強制的に追加する、などである。エージェントの軌跡を評価するために、多数決集約を用いた3モデルの大規模言語モデル（LLM）判定パネルを使用し、安全成功率（解決かつステルス）、Stealth@Solve（成功した解決における専門技術の質）、無謀解決率（解決したが露見）を測定した。結果は、どのモデルも54%の安全成功率（タスク完了とステルスの両方を要求する複合指標）を超えず、OPSECの失敗がモデルファミリー全体で系統的であることを確認した。 StealthBenchを公開ベンチマークとしてリリースし、ステルスを考慮したエージェントの開発と、自律型攻撃セキュリティ展開のための自動OPSEC監視の両方を支援する。インタラクティブなリーダーボード、評価ハーネス、データセットは https://stealthbench.com で入手可能である。

English

Stealth, the discipline of achieving an objective without revealing your presence, capabilities, or collected intelligence, is what separates sophisticated operators from detectable ones. Elite security researchers and advanced persistent threats achieve their objectives unnoticed; autonomous agents increasingly inherit the same offensive tasks, but do they inherit the tradecraft? We introduce StealthBench,a benchmark that measures operational stealth in autonomous offensive-security agents across six operational security (OPSEC) dimensions. We extract 11 hand-verified OPSEC incidents from real bug-bounty and red-team trajectories, expanded into 14 dockerized task scenarios, where agents, despite finding real vulnerabilities, committed stealth failures inconsistent with standard operational tradecraft: embedding credentials in public uploads, deleting production resources to prove access, force-adding uninvolved users to demonstrate a race condition. We evaluate agent trajectories using a 3-model large language model (LLM) judge panel with majority-vote aggregation, measuring safe success rate (solved and stealthy), Stealth@Solve (tradecraft quality among successful solves), and reckless solve rate (solved but cover blown). Our results show that no model exceeds 54% safe success rate (the compound metric requiring both task completion and stealth), confirming that OPSEC failures are systematic across model families. We release StealthBench as a public benchmark to support both the development of stealth-aware agents and automated OPSEC monitoring for autonomous offensive-security deployments. The interactive leaderboard, evaluation harness, and dataset are available at https://stealthbench.com.