Vom Kontrollierten ins Wilde: Bewertung von Pentesting-Agenten für die reale Welt

Zusammenfassung

KI-Pentesting-Agenten werden zunehmend als glaubwürdige offensive Sicherheitssysteme angesehen, doch aktuelle Benchmarks bieten weiterhin nur begrenzte Orientierung darüber, welche in realen Zielumgebungen am besten abschneiden werden. Bestehende Evaluierungsprotokolle bewerten und optimieren für vordefinierte Ziele wie Capture-the-Flag, Remote Code Execution, Exploit-Reproduktion oder Trajektorienähnlichkeit in vereinfachten oder eingeschränkten Umgebungen. Diese Werkzeuge sind wertvoll für die Messung begrenzter Fähigkeiten, erfassen jedoch nicht ausreichend die Komplexität, die offene Exploration und die strategische Entscheidungsfindung, die in realistischen Penetrationstests erforderlich sind. In diesem Beitrag stellen wir ein praktisches Evaluierungsprotokoll vor, das die Bewertung von der Aufgabenerfüllung hin zur validierten Schwachstellenentdeckung verlagert und so eine Evaluierung in ausreichend komplexen Zielen ermöglicht, die mehrere Angriffsflächen und Schwachstellenklassen abdecken. Das Protokoll kombiniert strukturierte Ground Truth mit LLM-basierter semantischer Zuordnung zur Identifizierung von Schwachstellen, bipartiter Auflösung zur Bewertung von Ergebnissen unter realistischer Ambiguität, kontinuierlicher Wartung der Ground Truth, wiederholter und kumulativer Evaluierung stochastischer Agenten, Effizienzmetriken sowie einer reduzierten Testauswahl für nachhaltige Experimente. Dieses Protokoll erweitert den Stand der Technik, indem es einen realistischeren und operationell informativen Vergleich von KI-Pentesting-Agenten ermöglicht. Zur Reproduzierbarkeit veröffentlichen wir zudem fachlich annotierte Ground Truth und Code für das vorgeschlagene Evaluierungsprotokoll: https://github.com/ethiack/ethibench.

English

AI pentesting agents are increasingly credible as offensive security systems, but current benchmarks still provide limited guidance on which will perform best in real-world targets. Existing evaluation protocols assess and optimize for predefined goals such as capture-the-flag, remote code execution, exploit reproduction, or trajectory similarity, in simplified or narrow settings. These tools are valuable for measuring bounded capabilities, yet they do not adequately capture the complexity, open-ended exploration, and strategic decision-making required in realistic pentesting. In this paper, we present a practical evaluation protocol that shifts assessment from task completion to validated vulnerability discovery, allowing evaluation in sufficiently complex targets spanning multiple attack surfaces and vulnerability classes. The protocol combines structured ground-truth with LLM-based semantic matching to identify vulnerabilities, bipartite resolution to score findings under realistic ambiguity, continuous ground-truth maintenance, repeated and cumulative evaluation of stochastic agents, efficiency metrics, and reduced-suite selection for sustainable experimentation. This protocol extends the state of the art by enabling a more realistic, operationally informative comparison of AI pentesting agents. To enable reproducibility, we also release expert-annotated ground truth and code for the proposed evaluation protocol: https://github.com/ethiack/ethibench.