FLIRT: Feedbackschleife im Kontext von Red Teaming

FLIRT: Feedback Loop In-context Red Teaming

August 8, 2023

Autoren: Ninareh Mehrabi, Palash Goyal, Christophe Dupuy, Qian Hu, Shalini Ghosh, Richard Zemel, Kai-Wei Chang, Aram Galstyan, Rahul Gupta

cs.AI

Zusammenfassung

Warnung: Diese Arbeit enthält Inhalte, die möglicherweise unangemessen oder anstößig sind. Da generative Modelle für die öffentliche Nutzung in verschiedenen Anwendungen verfügbar werden, ist die Prüfung und Analyse der Schwachstellen dieser Modelle zu einer Priorität geworden. Hier schlagen wir ein automatisiertes Red-Teaming-Framework vor, das ein gegebenes Modell evaluiert und dessen Anfälligkeiten gegenüber der Erzeugung unsicherer und unangemessener Inhalte aufdeckt. Unser Framework nutzt In-Context-Learning in einer Feedback-Schleife, um Modelle zu testen und sie zur Erzeugung unsicherer Inhalte zu veranlassen. Wir schlagen verschiedene In-Context-Angriffsstrategien vor, um effektive und vielfältige adversariale Prompts für Text-zu-Bild-Modelle automatisch zu erlernen. Unsere Experimente zeigen, dass die vorgeschlagene Strategie im Vergleich zu Baseline-Ansätzen deutlich effektiver darin ist, Schwachstellen im Stable Diffusion (SD)-Modell aufzudecken, selbst wenn dieses mit Sicherheitsfunktionen erweitert wurde. Darüber hinaus demonstrieren wir, dass das vorgeschlagene Framework effektiv für das Red-Teaming von Text-zu-Text-Modellen ist, was zu einer signifikant höheren Rate an toxischen Antworten führt im Vergleich zu bisher berichteten Zahlen.

English

Warning: this paper contains content that may be inappropriate or offensive. As generative models become available for public use in various applications, testing and analyzing vulnerabilities of these models has become a priority. Here we propose an automatic red teaming framework that evaluates a given model and exposes its vulnerabilities against unsafe and inappropriate content generation. Our framework uses in-context learning in a feedback loop to red team models and trigger them into unsafe content generation. We propose different in-context attack strategies to automatically learn effective and diverse adversarial prompts for text-to-image models. Our experiments demonstrate that compared to baseline approaches, our proposed strategy is significantly more effective in exposing vulnerabilities in Stable Diffusion (SD) model, even when the latter is enhanced with safety features. Furthermore, we demonstrate that the proposed framework is effective for red teaming text-to-text models, resulting in significantly higher toxic response generation rate compared to previously reported numbers.