Ruby Teaming: Migliorare la Ricerca della Diversità di Qualità con Memoria per il Red Teaming Automatizzato

Ruby Teaming: Improving Quality Diversity Search with Memory for Automated Red Teaming

June 17, 2024

Autori: Vernon Toh Yan Han, Rishabh Bhardwaj, Soujanya Poria

cs.AI

Abstract

Proponiamo Ruby Teaming, un metodo che migliora Rainbow Teaming includendo una cache di memoria come sua terza dimensione. La dimensione della memoria fornisce indizi al mutatore per generare prompt di qualità superiore, sia in termini di tasso di successo degli attacchi (ASR) che di diversità qualitativa. L'archivio di prompt generato da Ruby Teaming ha un ASR del 74%, che è il 20% più alto rispetto al baseline. In termini di diversità qualitativa, Ruby Teaming supera Rainbow Teaming rispettivamente del 6% e del 3% sull'Indice di Equità di Shannon (SEI) e sull'Indice di Diversità di Simpson (SDI).

English

We propose Ruby Teaming, a method that improves on Rainbow Teaming by including a memory cache as its third dimension. The memory dimension provides cues to the mutator to yield better-quality prompts, both in terms of attack success rate (ASR) and quality diversity. The prompt archive generated by Ruby Teaming has an ASR of 74%, which is 20% higher than the baseline. In terms of quality diversity, Ruby Teaming outperforms Rainbow Teaming by 6% and 3% on Shannon's Evenness Index (SEI) and Simpson's Diversity Index (SDI), respectively.