Командная работа Ruby: улучшение поиска разнообразия качества с учетом памяти для автоматизированного красного командирования

Ruby Teaming: Improving Quality Diversity Search with Memory for Automated Red Teaming

June 17, 2024

Авторы: Vernon Toh Yan Han, Rishabh Bhardwaj, Soujanya Poria

cs.AI

Аннотация

Мы предлагаем метод Ruby Teaming, который улучшает метод Rainbow Teaming за счет включения кэш-памяти в качестве третьего измерения. Измерение памяти предоставляет подсказки мутатору для создания более качественных подсказок, как с точки зрения успешности атак (ASR), так и разнообразия качества. Архив подсказок, сгенерированный Ruby Teaming, имеет ASR 74%, что на 20% выше базового уровня. В плане разнообразия качества Ruby Teaming превосходит Rainbow Teaming на 6% и 3% по индексу равномерности Шеннона (SEI) и индексу разнообразия Симпсона (SDI) соответственно.

English

We propose Ruby Teaming, a method that improves on Rainbow Teaming by including a memory cache as its third dimension. The memory dimension provides cues to the mutator to yield better-quality prompts, both in terms of attack success rate (ASR) and quality diversity. The prompt archive generated by Ruby Teaming has an ASR of 74%, which is 20% higher than the baseline. In terms of quality diversity, Ruby Teaming outperforms Rainbow Teaming by 6% and 3% on Shannon's Evenness Index (SEI) and Simpson's Diversity Index (SDI), respectively.