Ruby Teaming: Verbesserung der Qualität der Diversitätssuche mit Gedächtnis für automatisiertes Red Teaming

Ruby Teaming: Improving Quality Diversity Search with Memory for Automated Red Teaming

June 17, 2024

Autoren: Vernon Toh Yan Han, Rishabh Bhardwaj, Soujanya Poria

cs.AI

Zusammenfassung

Wir schlagen Ruby Teaming vor, eine Methode, die Rainbow Teaming verbessert, indem sie einen Speicher-Cache als dritte Dimension einbezieht. Die Speicherdimension liefert Hinweise an den Mutator, um qualitativ hochwertigere Aufforderungen zu liefern, sowohl in Bezug auf die Angriffserfolgsrate (ASR) als auch auf die Qualitätsvielfalt. Das von Ruby Teaming generierte Aufforderungsarchiv weist eine ASR von 74% auf, was 20% höher ist als die Basislinie. In Bezug auf die Qualitätsvielfalt übertrifft Ruby Teaming Rainbow Teaming um 6% bzw. 3% beim Shannon's Evenness Index (SEI) und beim Simpson's Diversity Index (SDI).

English

We propose Ruby Teaming, a method that improves on Rainbow Teaming by including a memory cache as its third dimension. The memory dimension provides cues to the mutator to yield better-quality prompts, both in terms of attack success rate (ASR) and quality diversity. The prompt archive generated by Ruby Teaming has an ASR of 74%, which is 20% higher than the baseline. In terms of quality diversity, Ruby Teaming outperforms Rainbow Teaming by 6% and 3% on Shannon's Evenness Index (SEI) and Simpson's Diversity Index (SDI), respectively.