Dynamische Risicobeoordelingen voor Offensieve Cybersecurity Agents

Dynamic Risk Assessments for Offensive Cybersecurity Agents

May 23, 2025

Auteurs: Boyi Wei, Benedikt Stroebl, Jiacen Xu, Joie Zhang, Zhou Li, Peter Henderson

cs.AI

Samenvatting

Foundation models worden steeds beter in het autonoom programmeren, wat de mogelijkheid opent dat ze ook gevaarlijke offensieve cyberoperaties kunnen automatiseren. Huidige audits van frontier modellen onderzoeken de cybersecurityrisico's van dergelijke agents, maar de meeste houden geen rekening met de vrijheidsgraden die tegenstanders in de echte wereld hebben. Met name met sterke verificatoren en financiële prikkels zijn agents voor offensieve cybersecurity vatbaar voor iteratieve verbetering door potentiële tegenstanders. Wij beargumenteren dat beoordelingen een uitgebreid dreigingsmodel in de context van cybersecurity moeten overwegen, waarbij de verschillende vrijheidsgraden die een tegenstander kan hebben in stateful en non-stateful omgevingen binnen een vast rekenbudget worden benadrukt. We laten zien dat zelfs met een relatief klein rekenbudget (8 H100 GPU-uren in ons onderzoek) tegenstanders de cybersecurity-capaciteit van een agent op InterCode CTF met meer dan 40\% kunnen verbeteren ten opzichte van de baseline — zonder enige externe hulp. Deze resultaten onderstrepen de noodzaak om de cybersecurityrisico's van agents op een dynamische manier te evalueren, wat een representatiever beeld van het risico geeft.

English

Foundation models are increasingly becoming better autonomous programmers, raising the prospect that they could also automate dangerous offensive cyber-operations. Current frontier model audits probe the cybersecurity risks of such agents, but most fail to account for the degrees of freedom available to adversaries in the real world. In particular, with strong verifiers and financial incentives, agents for offensive cybersecurity are amenable to iterative improvement by would-be adversaries. We argue that assessments should take into account an expanded threat model in the context of cybersecurity, emphasizing the varying degrees of freedom that an adversary may possess in stateful and non-stateful environments within a fixed compute budget. We show that even with a relatively small compute budget (8 H100 GPU Hours in our study), adversaries can improve an agent's cybersecurity capability on InterCode CTF by more than 40\% relative to the baseline -- without any external assistance. These results highlight the need to evaluate agents' cybersecurity risk in a dynamic manner, painting a more representative picture of risk.