Del controlado a lo salvaje: evaluación de agentes de pruebas de penetración para el mundo real

Resumen

Los agentes de pentesting con IA son cada vez más creíbles como sistemas de seguridad ofensiva, pero los puntos de referencia actuales aún ofrecen una orientación limitada sobre cuáles funcionarán mejor en objetivos del mundo real. Los protocolos de evaluación existentes evalúan y optimizan metas predefinidas, como captura de la bandera, ejecución remota de código, reproducción de exploits o similitud de trayectorias, en entornos simplificados o reducidos. Estas herramientas son valiosas para medir capacidades acotadas, pero no logran capturar adecuadamente la complejidad, la exploración abierta y la toma de decisiones estratégicas requeridas en el pentesting realista. En este artículo, presentamos un protocolo de evaluación práctico que traslada la evaluación desde la finalización de tareas hacia el descubrimiento validado de vulnerabilidades, permitiendo la evaluación en objetivos suficientemente complejos que abarcan múltiples superficies de ataque y clases de vulnerabilidad. El protocolo combina verdad fundamental estructurada con coincidencia semántica basada en LLM para identificar vulnerabilidades, resolución bipartita para puntuar hallazgos bajo ambigüedad realista, mantenimiento continuo de la verdad fundamental, evaluación repetida y acumulativa de agentes estocásticos, métricas de eficiencia y selección de conjuntos reducidos para una experimentación sostenible. Este protocolo amplía el estado del arte al permitir una comparación más realista e informativa desde el punto de vista operativo de los agentes de pentesting con IA. Para garantizar la reproducibilidad, también publicamos la verdad fundamental anotada por expertos y el código del protocolo de evaluación propuesto: https://github.com/ethiack/ethibench.

English

AI pentesting agents are increasingly credible as offensive security systems, but current benchmarks still provide limited guidance on which will perform best in real-world targets. Existing evaluation protocols assess and optimize for predefined goals such as capture-the-flag, remote code execution, exploit reproduction, or trajectory similarity, in simplified or narrow settings. These tools are valuable for measuring bounded capabilities, yet they do not adequately capture the complexity, open-ended exploration, and strategic decision-making required in realistic pentesting. In this paper, we present a practical evaluation protocol that shifts assessment from task completion to validated vulnerability discovery, allowing evaluation in sufficiently complex targets spanning multiple attack surfaces and vulnerability classes. The protocol combines structured ground-truth with LLM-based semantic matching to identify vulnerabilities, bipartite resolution to score findings under realistic ambiguity, continuous ground-truth maintenance, repeated and cumulative evaluation of stochastic agents, efficiency metrics, and reduced-suite selection for sustainable experimentation. This protocol extends the state of the art by enabling a more realistic, operationally informative comparison of AI pentesting agents. To enable reproducibility, we also release expert-annotated ground truth and code for the proposed evaluation protocol: https://github.com/ethiack/ethibench.