Ruby Teaming: Mejorando la Búsqueda de Diversidad de Calidad con Memoria para la Automatización de Pruebas de Resistencia

Ruby Teaming: Improving Quality Diversity Search with Memory for Automated Red Teaming

June 17, 2024

Autores: Vernon Toh Yan Han, Rishabh Bhardwaj, Soujanya Poria

cs.AI

Resumen

Proponemos Ruby Teaming, un método que mejora Rainbow Teaming al incorporar una caché de memoria como su tercera dimensión. La dimensión de memoria proporciona pistas al mutador para generar indicaciones de mayor calidad, tanto en términos de tasa de éxito de ataque (ASR, por sus siglas en inglés) como de diversidad de calidad. El archivo de indicaciones generado por Ruby Teaming tiene un ASR del 74%, lo que representa un 20% más que el valor de referencia. En cuanto a la diversidad de calidad, Ruby Teaming supera a Rainbow Teaming en un 6% y un 3% en el Índice de Equidad de Shannon (SEI) y el Índice de Diversidad de Simpson (SDI), respectivamente.

English

We propose Ruby Teaming, a method that improves on Rainbow Teaming by including a memory cache as its third dimension. The memory dimension provides cues to the mutator to yield better-quality prompts, both in terms of attack success rate (ASR) and quality diversity. The prompt archive generated by Ruby Teaming has an ASR of 74%, which is 20% higher than the baseline. In terms of quality diversity, Ruby Teaming outperforms Rainbow Teaming by 6% and 3% on Shannon's Evenness Index (SEI) and Simpson's Diversity Index (SDI), respectively.