Dynamische Risikobewertungen für offensive Cybersicherheitsagenten

Dynamic Risk Assessments for Offensive Cybersecurity Agents

May 23, 2025

Autoren: Boyi Wei, Benedikt Stroebl, Jiacen Xu, Joie Zhang, Zhou Li, Peter Henderson

cs.AI

Zusammenfassung

Foundation Models werden zunehmend bessere autonome Programmierer, was die Aussicht eröffnet, dass sie auch gefährliche offensive Cyber-Operationen automatisieren könnten. Aktuelle Audits von Frontier-Modellen untersuchen die Cybersicherheitsrisiken solcher Agenten, aber die meisten berücksichtigen nicht die Freiheitsgrade, die Angreifern in der realen Welt zur Verfügung stehen. Insbesondere mit starken Verifizierern und finanziellen Anreizen sind Agenten für offensive Cybersicherheit anfällig für iterative Verbesserungen durch potenzielle Angreifer. Wir argumentieren, dass Bewertungen ein erweitertes Bedrohungsmodell im Kontext der Cybersicherheit berücksichtigen sollten, das die unterschiedlichen Freiheitsgrade betont, die ein Angreifer in zustandsbehafteten und zustandslosen Umgebungen innerhalb eines festen Rechenbudgets besitzen kann. Wir zeigen, dass selbst mit einem relativ kleinen Rechenbudget (8 H100 GPU-Stunden in unserer Studie) Angreifer die Cybersicherheitsfähigkeit eines Agenten auf InterCode CTF um mehr als 40 % im Vergleich zur Baseline verbessern können – ohne jegliche externe Unterstützung. Diese Ergebnisse unterstreichen die Notwendigkeit, das Cybersicherheitsrisiko von Agenten auf dynamische Weise zu bewerten, um ein repräsentativeres Bild des Risikos zu zeichnen.

English

Foundation models are increasingly becoming better autonomous programmers, raising the prospect that they could also automate dangerous offensive cyber-operations. Current frontier model audits probe the cybersecurity risks of such agents, but most fail to account for the degrees of freedom available to adversaries in the real world. In particular, with strong verifiers and financial incentives, agents for offensive cybersecurity are amenable to iterative improvement by would-be adversaries. We argue that assessments should take into account an expanded threat model in the context of cybersecurity, emphasizing the varying degrees of freedom that an adversary may possess in stateful and non-stateful environments within a fixed compute budget. We show that even with a relatively small compute budget (8 H100 GPU Hours in our study), adversaries can improve an agent's cybersecurity capability on InterCode CTF by more than 40\% relative to the baseline -- without any external assistance. These results highlight the need to evaluate agents' cybersecurity risk in a dynamic manner, painting a more representative picture of risk.