Do Controlado ao Selvagem: Avaliação de Agentes de Penteste para o Mundo Real

Resumo

Agentes de IA para testes de penetração estão se tornando cada vez mais viáveis como sistemas de segurança ofensiva, mas os benchmarks atuais ainda oferecem orientação limitada sobre quais terão melhor desempenho em alvos do mundo real. Protocolos de avaliação existentes avaliam e otimizam objetivos predefinidos, como captura da bandeira (capture-the-flag), execução remota de código, reprodução de explorações ou similaridade de trajetórias, em ambientes simplificados ou restritos. Essas ferramentas são valiosas para medir capacidades delimitadas, mas não capturam adequadamente a complexidade, a exploração aberta e a tomada de decisão estratégica exigidas em testes de penetração realistas. Neste artigo, apresentamos um protocolo prático de avaliação que desloca a avaliação da conclusão de tarefas para a descoberta validada de vulnerabilidades, permitindo a avaliação em alvos suficientemente complexos que abrangem múltiplas superfícies de ataque e classes de vulnerabilidade. O protocolo combina verdade fundamental estruturada com correspondência semântica baseada em LLM para identificar vulnerabilidades, resolução bipartida para pontuar descobertas sob ambiguidade realista, manutenção contínua da verdade fundamental, avaliação repetida e cumulativa de agentes estocásticos, métricas de eficiência e seleção reduzida de conjuntos para experimentação sustentável. Este protocolo avança o estado da arte ao permitir uma comparação mais realista e operacionalmente informativa de agentes de IA para testes de penetração. Para garantir reprodutibilidade, também disponibilizamos a verdade fundamental anotada por especialistas e o código do protocolo de avaliação proposto: https://github.com/ethiack/ethibench.

English

AI pentesting agents are increasingly credible as offensive security systems, but current benchmarks still provide limited guidance on which will perform best in real-world targets. Existing evaluation protocols assess and optimize for predefined goals such as capture-the-flag, remote code execution, exploit reproduction, or trajectory similarity, in simplified or narrow settings. These tools are valuable for measuring bounded capabilities, yet they do not adequately capture the complexity, open-ended exploration, and strategic decision-making required in realistic pentesting. In this paper, we present a practical evaluation protocol that shifts assessment from task completion to validated vulnerability discovery, allowing evaluation in sufficiently complex targets spanning multiple attack surfaces and vulnerability classes. The protocol combines structured ground-truth with LLM-based semantic matching to identify vulnerabilities, bipartite resolution to score findings under realistic ambiguity, continuous ground-truth maintenance, repeated and cumulative evaluation of stochastic agents, efficiency metrics, and reduced-suite selection for sustainable experimentation. This protocol extends the state of the art by enabling a more realistic, operationally informative comparison of AI pentesting agents. To enable reproducibility, we also release expert-annotated ground truth and code for the proposed evaluation protocol: https://github.com/ethiack/ethibench.