FLIRT: Ciclo di Feedback per il Red Teaming in Contesto

FLIRT: Feedback Loop In-context Red Teaming

August 8, 2023

Autori: Ninareh Mehrabi, Palash Goyal, Christophe Dupuy, Qian Hu, Shalini Ghosh, Richard Zemel, Kai-Wei Chang, Aram Galstyan, Rahul Gupta

cs.AI

Abstract

Avviso: questo articolo contiene contenuti che potrebbero essere inappropriati o offensivi. Con l'ampia disponibilità di modelli generativi per uso pubblico in varie applicazioni, testare e analizzare le vulnerabilità di questi modelli è diventata una priorità. Qui proponiamo un framework automatico di red teaming che valuta un determinato modello e ne espone le vulnerabilità rispetto alla generazione di contenuti non sicuri e inappropriati. Il nostro framework utilizza l'apprendimento in contesto in un ciclo di feedback per eseguire red teaming sui modelli e indurli a generare contenuti non sicuri. Proponiamo diverse strategie di attacco in contesto per apprendere automaticamente prompt avversari efficaci e diversificati per modelli di testo-immagine. I nostri esperimenti dimostrano che, rispetto agli approcci baseline, la nostra strategia proposta è significativamente più efficace nell'esporre le vulnerabilità del modello Stable Diffusion (SD), anche quando quest'ultimo è potenziato con funzionalità di sicurezza. Inoltre, dimostriamo che il framework proposto è efficace per il red teaming di modelli di testo-testo, ottenendo un tasso di generazione di risposte tossiche significativamente più alto rispetto ai numeri riportati in precedenza.

English

Warning: this paper contains content that may be inappropriate or offensive. As generative models become available for public use in various applications, testing and analyzing vulnerabilities of these models has become a priority. Here we propose an automatic red teaming framework that evaluates a given model and exposes its vulnerabilities against unsafe and inappropriate content generation. Our framework uses in-context learning in a feedback loop to red team models and trigger them into unsafe content generation. We propose different in-context attack strategies to automatically learn effective and diverse adversarial prompts for text-to-image models. Our experiments demonstrate that compared to baseline approaches, our proposed strategy is significantly more effective in exposing vulnerabilities in Stable Diffusion (SD) model, even when the latter is enhanced with safety features. Furthermore, we demonstrate that the proposed framework is effective for red teaming text-to-text models, resulting in significantly higher toxic response generation rate compared to previously reported numbers.