攻撃的サイバーセキュリティエージェントのための動的リスク評価

Dynamic Risk Assessments for Offensive Cybersecurity Agents

May 23, 2025

著者: Boyi Wei, Benedikt Stroebl, Jiacen Xu, Joie Zhang, Zhou Li, Peter Henderson

cs.AI

要旨

基盤モデルは、自律的なプログラマーとしてますます優れた能力を発揮しており、危険な攻撃的なサイバー作戦を自動化する可能性も高まっている。現在の最先端モデルの監査では、そのようなエージェントのサイバーセキュリティリスクを探っているが、現実世界の敵対者が持つ自由度の多様性を十分に考慮していない場合が多い。特に、強力な検証器と金銭的インセンティブがあれば、攻撃的なサイバーセキュリティのエージェントは、潜在的な敵対者による反復的な改善が可能である。我々は、サイバーセキュリティの文脈において、固定された計算予算内で、ステートフルおよびステートレス環境において敵対者が持つ可能性のある自由度の多様性を強調する拡張された脅威モデルを評価に取り入れるべきだと主張する。我々の研究では、比較的小さな計算予算（8 H100 GPU時間）であっても、敵対者は外部の支援なしに、InterCode CTFにおけるエージェントのサイバーセキュリティ能力をベースラインに対して40％以上向上させることができることを示した。これらの結果は、エージェントのサイバーセキュリティリスクを動的に評価し、より代表的なリスク像を描く必要性を浮き彫りにしている。

English

Foundation models are increasingly becoming better autonomous programmers, raising the prospect that they could also automate dangerous offensive cyber-operations. Current frontier model audits probe the cybersecurity risks of such agents, but most fail to account for the degrees of freedom available to adversaries in the real world. In particular, with strong verifiers and financial incentives, agents for offensive cybersecurity are amenable to iterative improvement by would-be adversaries. We argue that assessments should take into account an expanded threat model in the context of cybersecurity, emphasizing the varying degrees of freedom that an adversary may possess in stateful and non-stateful environments within a fixed compute budget. We show that even with a relatively small compute budget (8 H100 GPU Hours in our study), adversaries can improve an agent's cybersecurity capability on InterCode CTF by more than 40\% relative to the baseline -- without any external assistance. These results highlight the need to evaluate agents' cybersecurity risk in a dynamic manner, painting a more representative picture of risk.