Van gecontroleerd naar het wild: evaluatie van pentesting-agenten voor de echte wereld

Samenvatting

AI-pentestingagenten worden steeds geloofwaardiger als aanvallende beveiligingssystemen, maar de huidige benchmarks bieden nog steeds beperkte richtlijnen over welke het beste presteren in realistische doelwitten. Bestaande evaluatieprotocollen beoordelen en optimaliseren vooraf gedefinieerde doelen zoals capture-the-flag, externe code-uitvoering, exploitreproductie of trajectovereenkomst in vereenvoudigde of beperkte omgevingen. Deze hulpmiddelen zijn waardevol voor het meten van begrensde capaciteiten, maar vangen niet adequaat de complexiteit, open exploratie en strategische besluitvorming die vereist zijn in realistische pentesting. In dit artikel presenteren we een praktisch evaluatieprotocol dat de beoordeling verschuift van taakvoltooiing naar gevalideerde kwetsbaarheidsontdekking, waardoor evaluatie mogelijk wordt in voldoende complexe doelwitten die meerdere aanvalsoppervlakken en kwetsbaarheidsklassen omvatten. Het protocol combineert gestructureerde grondwaarheid met LLM-gebaseerde semantische matching om kwetsbaarheden te identificeren, bipartiete resolutie om bevindingen te scoren onder realistische ambiguïteit, continu onderhoud van grondwaarheid, herhaalde en cumulatieve evaluatie van stochastische agenten, efficiëntiemetrics en een gereduceerde suiteselectie voor duurzame experimentatie. Dit protocol verlegt de stand van de techniek door een realistischere, operationeel informatievere vergelijking van AI-pentestingagenten mogelijk te maken. Om reproduceerbaarheid te waarborgen, publiceren we ook door experts geannoteerde grondwaarheid en code voor het voorgestelde evaluatieprotocol: https://github.com/ethiack/ethibench.

English

AI pentesting agents are increasingly credible as offensive security systems, but current benchmarks still provide limited guidance on which will perform best in real-world targets. Existing evaluation protocols assess and optimize for predefined goals such as capture-the-flag, remote code execution, exploit reproduction, or trajectory similarity, in simplified or narrow settings. These tools are valuable for measuring bounded capabilities, yet they do not adequately capture the complexity, open-ended exploration, and strategic decision-making required in realistic pentesting. In this paper, we present a practical evaluation protocol that shifts assessment from task completion to validated vulnerability discovery, allowing evaluation in sufficiently complex targets spanning multiple attack surfaces and vulnerability classes. The protocol combines structured ground-truth with LLM-based semantic matching to identify vulnerabilities, bipartite resolution to score findings under realistic ambiguity, continuous ground-truth maintenance, repeated and cumulative evaluation of stochastic agents, efficiency metrics, and reduced-suite selection for sustainable experimentation. This protocol extends the state of the art by enabling a more realistic, operationally informative comparison of AI pentesting agents. To enable reproducibility, we also release expert-annotated ground truth and code for the proposed evaluation protocol: https://github.com/ethiack/ethibench.