SecRespond: 실제 침해 후 사고 대응을 위한 AI 에이전트 벤치마킹

초록

대규모 언어 모델(LLM) 에이전트는 호스트 아티팩트와 명령줄 인터페이스(CLI)에 접근하여 실제 보안 운영에 점점 더 많이 도입되고 있으며, 이에 따라 이들의 보안 역량을 철저히 평가하는 것이 중요해지고 있다. 그러나 기존의 사이버 보안 벤치마크는 공격 발생 전 에이전트가 깨끗하고 이상적인 환경에 배치되는 사전 침해 설정에 초점을 맞추고 있다. 이로 인해 사후 침해 설정은 충분히 탐구되지 못하고 있다. 이러한 격차를 해소하기 위해, 우리는 사후 침해 침해 대응 워크플로우에서 LLM 에이전트를 평가하는 최초의 벤치마크인 SecRespond를 소개한다. 침해된 호스트의 포렌식 디스크 스냅샷과 호스트 보안 제품이 보고한 알림, 취약점 스캔, 베이스라인 점검 결과가 주어지면, 에이전트는 침해, 베이스라인 위험, 취약점 위험에 대한 포렌식 보고서와 함께 복구 계획을 생성해야 한다. 우리는 이 작업을 10개의 사이버 레인지에 걸쳐 구체화하였으며, 각 레인지는 서로 다른 침해된 클라우드 호스트로 구성되어 있으며, 4개의 진입점 유형, 21개의 ATT&CK 기법, 5개의 운영 체제를 포함한다. 우리는 OpenCode 에이전트 하네스에서 23개의 최첨단 LLM을 평가한다. 실험 결과, 현재 에이전트는 알림에 의해 드러난 문제를 신뢰성 있게 발견할 수 있지만, 디스크를 능동적으로 조사하여 무음 침해를 찾아내고 포괄적이고 검증된 복구 계획을 생성하는 데 어려움을 겪으며, 어떤 모델도 단일 레인지에서 완전한 탐지 및 복구를 달성하지 못했다. 이는 실제 침해 대응을 위한 에이전트 구축에 근본적인 병목 현상이 있음을 드러낸다. 해당 벤치마크는 https://github.com/Alibaba-NLP/qqr/tree/main/data/secrespond에서 공개적으로 이용 가능하다.

English

Large Language Model (LLM) agents are increasingly adopted in real-world security operations with access to host artifacts and command-line interfaces (CLIs), making it critical to thoroughly assess their security capabilities. However, existing cybersecurity benchmarks focus on pre-compromise settings where agents are placed in a clean and idealized environment before an attack occurs. This leaves the post-compromise setting underexplored. To address this gap, we introduce SecRespond, the first benchmark for evaluating LLM agents on the post-compromise incident-response workflow. Given a forensic disk snapshot of a compromised host together with the alerts, vulnerability scans, and baseline checks reported by a host security product, agents are required to produce forensic reports on intrusions, baseline risks, and vulnerability risks, together with a remediation plan. We instantiate this task across 10 cyber ranges, each constructed from a distinct compromised cloud host, spanning 4 entry-point types, 21 ATT&CK techniques, and 5 operating systems. We evaluate 23 frontier LLMs on the OpenCode agent harness. Experimental results show that although current agents can reliably uncover the problems exposed by alerts, they struggle to proactively investigate the disk for silent intrusions and to produce comprehensive, verified remediation plans, with no model achieving complete detection and remediation on any single range. This reveals a fundamental bottleneck in building agents for real-world incident response. The benchmark is publicly available at https://github.com/Alibaba-NLP/qqr/tree/main/data/secrespond.