FLIRT: Feedback Loop In-context Red Teaming

Samenvatting

Waarschuwing: dit artikel bevat inhoud die ongepast of aanstootgevend kan zijn. Naarmate generatieve modellen beschikbaar komen voor publiek gebruik in diverse toepassingen, is het testen en analyseren van kwetsbaarheden van deze modellen een prioriteit geworden. Hier stellen we een automatisch red teaming-framework voor dat een bepaald model evalueert en de kwetsbaarheden blootlegt tegen het genereren van onveilige en ongepaste inhoud. Ons framework maakt gebruik van in-context learning in een feedbacklus om modellen te red teamen en ze aan te zetten tot het genereren van onveilige inhoud. We stellen verschillende in-context aanvalsstrategieën voor om automatisch effectieve en diverse adversariële prompts te leren voor tekst-naar-beeldmodellen. Onze experimenten tonen aan dat, in vergelijking met baseline-benaderingen, onze voorgestelde strategie aanzienlijk effectiever is in het blootleggen van kwetsbaarheden in het Stable Diffusion (SD)-model, zelfs wanneer dit laatste is versterkt met veiligheidsfuncties. Bovendien laten we zien dat het voorgestelde framework effectief is voor het red teamen van tekst-naar-tekstmodellen, wat resulteert in een aanzienlijk hoger percentage van het genereren van giftige reacties in vergelijking met eerder gerapporteerde aantallen.

English

Warning: this paper contains content that may be inappropriate or offensive. As generative models become available for public use in various applications, testing and analyzing vulnerabilities of these models has become a priority. Here we propose an automatic red teaming framework that evaluates a given model and exposes its vulnerabilities against unsafe and inappropriate content generation. Our framework uses in-context learning in a feedback loop to red team models and trigger them into unsafe content generation. We propose different in-context attack strategies to automatically learn effective and diverse adversarial prompts for text-to-image models. Our experiments demonstrate that compared to baseline approaches, our proposed strategy is significantly more effective in exposing vulnerabilities in Stable Diffusion (SD) model, even when the latter is enhanced with safety features. Furthermore, we demonstrate that the proposed framework is effective for red teaming text-to-text models, resulting in significantly higher toxic response generation rate compared to previously reported numbers.