FLIRT : Boucle de Rétroaction dans le Cadre du Test d'Intrusion Contextuel

FLIRT: Feedback Loop In-context Red Teaming

August 8, 2023

Auteurs: Ninareh Mehrabi, Palash Goyal, Christophe Dupuy, Qian Hu, Shalini Ghosh, Richard Zemel, Kai-Wei Chang, Aram Galstyan, Rahul Gupta

cs.AI

Résumé

Avertissement : cet article contient des éléments qui peuvent être inappropriés ou offensants. Alors que les modèles génératifs deviennent accessibles au public dans diverses applications, le test et l'analyse des vulnérabilités de ces modèles sont devenus une priorité. Nous proposons ici un cadre de red teaming automatique qui évalue un modèle donné et expose ses vulnérabilités face à la génération de contenu dangereux ou inapproprié. Notre cadre utilise l'apprentissage en contexte dans une boucle de rétroaction pour red teamer les modèles et les inciter à générer du contenu dangereux. Nous proposons différentes stratégies d'attaque en contexte pour apprendre automatiquement des invites adverses efficaces et diversifiées pour les modèles texte-à-image. Nos expériences démontrent que, par rapport aux approches de référence, notre stratégie proposée est significativement plus efficace pour exposer les vulnérabilités du modèle Stable Diffusion (SD), même lorsque celui-ci est renforcé par des fonctionnalités de sécurité. De plus, nous montrons que le cadre proposé est efficace pour le red teaming des modèles texte-à-texte, entraînant un taux de génération de réponses toxiques significativement plus élevé par rapport aux chiffres précédemment rapportés.

English

Warning: this paper contains content that may be inappropriate or offensive. As generative models become available for public use in various applications, testing and analyzing vulnerabilities of these models has become a priority. Here we propose an automatic red teaming framework that evaluates a given model and exposes its vulnerabilities against unsafe and inappropriate content generation. Our framework uses in-context learning in a feedback loop to red team models and trigger them into unsafe content generation. We propose different in-context attack strategies to automatically learn effective and diverse adversarial prompts for text-to-image models. Our experiments demonstrate that compared to baseline approaches, our proposed strategy is significantly more effective in exposing vulnerabilities in Stable Diffusion (SD) model, even when the latter is enhanced with safety features. Furthermore, we demonstrate that the proposed framework is effective for red teaming text-to-text models, resulting in significantly higher toxic response generation rate compared to previously reported numbers.