Avaliações Dinâmicas de Risco para Agentes de Cibersegurança Ofensiva
Dynamic Risk Assessments for Offensive Cybersecurity Agents
May 23, 2025
Autores: Boyi Wei, Benedikt Stroebl, Jiacen Xu, Joie Zhang, Zhou Li, Peter Henderson
cs.AI
Resumo
Modelos de base estão se tornando cada vez mais programadores autônomos eficientes, levantando a possibilidade de que eles também possam automatizar operações cibernéticas ofensivas perigosas. As auditorias atuais de modelos de fronteira investigam os riscos de segurança cibernética desses agentes, mas a maioria não leva em consideração os graus de liberdade disponíveis para adversários no mundo real. Em particular, com verificadores robustos e incentivos financeiros, agentes para segurança cibernética ofensiva são passíveis de melhoria iterativa por potenciais adversários. Argumentamos que as avaliações devem considerar um modelo de ameaça expandido no contexto da segurança cibernética, enfatizando os diferentes graus de liberdade que um adversário pode possuir em ambientes com e sem estado, dentro de um orçamento de computação fixo. Mostramos que, mesmo com um orçamento de computação relativamente pequeno (8 horas de GPU H100 em nosso estudo), os adversários podem melhorar a capacidade de segurança cibernética de um agente no InterCode CTF em mais de 40% em relação à linha de base — sem qualquer assistência externa. Esses resultados destacam a necessidade de avaliar o risco de segurança cibernética dos agentes de maneira dinâmica, fornecendo uma imagem mais representativa do risco.
English
Foundation models are increasingly becoming better autonomous programmers,
raising the prospect that they could also automate dangerous offensive
cyber-operations. Current frontier model audits probe the cybersecurity risks
of such agents, but most fail to account for the degrees of freedom available
to adversaries in the real world. In particular, with strong verifiers and
financial incentives, agents for offensive cybersecurity are amenable to
iterative improvement by would-be adversaries. We argue that assessments should
take into account an expanded threat model in the context of cybersecurity,
emphasizing the varying degrees of freedom that an adversary may possess in
stateful and non-stateful environments within a fixed compute budget. We show
that even with a relatively small compute budget (8 H100 GPU Hours in our
study), adversaries can improve an agent's cybersecurity capability on
InterCode CTF by more than 40\% relative to the baseline -- without any
external assistance. These results highlight the need to evaluate agents'
cybersecurity risk in a dynamic manner, painting a more representative picture
of risk.