Ruby Teaming : Amélioration de la recherche de diversité de qualité avec mémoire pour le test d'intrusion automatisé

Ruby Teaming: Improving Quality Diversity Search with Memory for Automated Red Teaming

June 17, 2024

Auteurs: Vernon Toh Yan Han, Rishabh Bhardwaj, Soujanya Poria

cs.AI

Résumé

Nous proposons Ruby Teaming, une méthode qui améliore Rainbow Teaming en intégrant un cache mémoire comme troisième dimension. La dimension mémoire fournit des indices au mutateur pour générer des invites de meilleure qualité, tant en termes de taux de réussite des attaques (ASR) que de diversité qualitative. L'archive d'invites générée par Ruby Teaming présente un ASR de 74 %, soit 20 % de plus que la référence. En matière de diversité qualitative, Ruby Teaming surpasse Rainbow Teaming de 6 % et 3 % respectivement sur l'indice d'équitabilité de Shannon (SEI) et l'indice de diversité de Simpson (SDI).

English

We propose Ruby Teaming, a method that improves on Rainbow Teaming by including a memory cache as its third dimension. The memory dimension provides cues to the mutator to yield better-quality prompts, both in terms of attack success rate (ASR) and quality diversity. The prompt archive generated by Ruby Teaming has an ASR of 74%, which is 20% higher than the baseline. In terms of quality diversity, Ruby Teaming outperforms Rainbow Teaming by 6% and 3% on Shannon's Evenness Index (SEI) and Simpson's Diversity Index (SDI), respectively.