SecRespond: 現実の侵害後インシデント対応におけるAIエージェントのベンチマーキング

要旨

大規模言語モデル（LLM）エージェントは、ホストアーティファクトやコマンドラインインターフェース（CLI）へのアクセスを伴う実際のセキュリティ運用において採用が進んでおり、そのセキュリティ能力を徹底的に評価することが重要となっている。しかし、既存のサイバーセキュリティベンチマークは、攻撃発生前のクリーンで理想化された環境にエージェントを配置する侵害前設定に焦点を当てており、侵害後の設定は十分に探求されていない。このギャップに対処するため、我々はSecRespondを導入する。これは、侵害後のインシデント対応ワークフローにおけるLLMエージェントを評価する初のベンチマークである。侵害を受けたホストのフォレンジックディスクスナップショットと、ホストセキュリティ製品が報告したアラート、脆弱性スキャン、ベースラインチェックが与えられたとき、エージェントは侵入、ベースラインリスク、脆弱性リスクに関するフォレンジックレポートと、修復計画を作成する必要がある。このタスクを、4種類のエントリポイント、21のATT&CKテクニック、5種類のオペレーティングシステムにわたる、それぞれ異なる侵害を受けたクラウドホストから構築された10のサイバーレンジで具体化する。我々は、OpenCodeエージェントハーネス上で23の最先端LLMを評価した。実験結果から、現在のエージェントはアラートによって明らかになった問題を確実に発見できるものの、ディスクを能動的に調査してサイレント侵入を検出したり、包括的で検証済みの修復計画を作成したりすることには苦労しており、単一のレンジにおいて完全な検出と修復を達成したモデルは存在しないことが示された。これは、実世界のインシデント対応のためのエージェント構築における根本的なボトルネックを明らかにしている。ベンチマークはhttps://github.com/Alibaba-NLP/qqr/tree/main/data/secrespondで公開されている。

English

Large Language Model (LLM) agents are increasingly adopted in real-world security operations with access to host artifacts and command-line interfaces (CLIs), making it critical to thoroughly assess their security capabilities. However, existing cybersecurity benchmarks focus on pre-compromise settings where agents are placed in a clean and idealized environment before an attack occurs. This leaves the post-compromise setting underexplored. To address this gap, we introduce SecRespond, the first benchmark for evaluating LLM agents on the post-compromise incident-response workflow. Given a forensic disk snapshot of a compromised host together with the alerts, vulnerability scans, and baseline checks reported by a host security product, agents are required to produce forensic reports on intrusions, baseline risks, and vulnerability risks, together with a remediation plan. We instantiate this task across 10 cyber ranges, each constructed from a distinct compromised cloud host, spanning 4 entry-point types, 21 ATT&CK techniques, and 5 operating systems. We evaluate 23 frontier LLMs on the OpenCode agent harness. Experimental results show that although current agents can reliably uncover the problems exposed by alerts, they struggle to proactively investigate the disk for silent intrusions and to produce comprehensive, verified remediation plans, with no model achieving complete detection and remediation on any single range. This reveals a fundamental bottleneck in building agents for real-world incident response. The benchmark is publicly available at https://github.com/Alibaba-NLP/qqr/tree/main/data/secrespond.