成功率を超えて：攻撃的および防御的セキュリティエージェントのコストを考慮した評価

要旨

セキュリティエージェントの評価では、通常、潤沢な推論予算の下で最大限の攻撃能力を測定し、脆弱性の発見、エクスプロイト開発、ペネトレーションテスト、CTF（Capture The Flag）の完了に重点が置かれます。このような測定方法は有用ですが、不完全です。運用セキュリティにおいては、あらゆる推論ステップ、ツール呼び出し、テレメトリクエリ、エンリッチメント要求が予算を消費するからです。本稿では、攻撃的なCybenchチャレンジと防御的なSplunk BOTS v1調査チャレンジにおいて、このコスト対成功率の観点から言語モデルベースのセキュリティエージェントを評価します。最良の場合の成功率のみを報告するのではなく、固定コストレベルでモデルを比較し、推論費用とツール費用別にパフォーマンスを分解します。その結果、レッドチームとブルーチームのタスクでは明確に異なるスケーリングの傾向が見られました。攻撃的なCTFのパフォーマンスは、テスト時計算量の増加とともに向上し、スケールされたオープンウェイトモデルは、コスト競争力を維持しながら最先端のプロプライエタリシステムに近づくことができます。一方、防御的なSOC調査は同じようにはスケーリングしません。その成否は、単純な推論予算の多さよりも、規律あるツールの使用、テレメトリのナビゲーション、選択的なエンリッチメントに大きく依存します。セキュリティエージェントのベンチマークは、タスクの成功率に加えて、経済効率と運用適合性を測定すべきであると我々は主張します。コストを考慮した、SOCネイティブな評価は、現在どのモデルが実用的に有用であり、防御エージェントがどこを改善すべきかをより明確に示します。結果はインタラクティブなWebサイト（https://evals.frontier.security）で公開しています。

English

Security-agent evaluations commonly measure peak offensive capability under generous inference budgets, emphasizing vulnerability discovery, exploit development, penetration testing, and CTF completion. Such measurements are useful but incomplete: in operational security, every reasoning step, tool call, telemetry query, and enrichment request consumes budget. We evaluate language-model security agents through this cost-success lens on offensive Cybench challenges and defensive Splunk BOTS v1 investigation challenges. Instead of reporting only best-case success, we compare models at fixed cost levels and decompose performance by inference spend and tool spend. Our results show distinct scalingregimes for red- and blue-team tasks. Offensive CTF performance improves with additional test-time compute, and scaled open-weight models can approach frontier proprietary systems while remaining cost-competitive. Defensive SOC investigation does not scale in the same way: success depends more heavily on disciplined tool use, telemetry navigation, and selective enrichment than on raw reasoning budget alone. We argue that security-agent benchmarks should measure economic efficiency and operational fit alongside task success. Cost-aware, SOC-native evaluations provide a clearer picture of which models are practically useful today and where defensive agents still need to improve. We present an interactive website with our results https://evals.frontier.security.