FLIRT: Обратная связь в контексте тестирования на уязвимости

FLIRT: Feedback Loop In-context Red Teaming

August 8, 2023

Авторы: Ninareh Mehrabi, Palash Goyal, Christophe Dupuy, Qian Hu, Shalini Ghosh, Richard Zemel, Kai-Wei Chang, Aram Galstyan, Rahul Gupta

cs.AI

Аннотация

Предупреждение: данная статья содержит материалы, которые могут быть неприемлемыми или оскорбительными. По мере того как генеративные модели становятся доступными для публичного использования в различных приложениях, тестирование и анализ их уязвимостей становится приоритетной задачей. В данной работе мы предлагаем автоматизированный фреймворк для "красной команды", который оценивает заданную модель и выявляет её уязвимости в отношении генерации небезопасного и неприемлемого контента. Наш фреймворк использует обучение в контексте в рамках обратной связи для тестирования моделей и провоцирования их на генерацию небезопасного контента. Мы предлагаем различные стратегии атак в контексте для автоматического обучения эффективным и разнообразным адверсарным промптам для моделей "текст-изображение". Наши эксперименты показывают, что по сравнению с базовыми подходами предложенная стратегия значительно более эффективна в выявлении уязвимостей модели Stable Diffusion (SD), даже когда она усилена функциями безопасности. Кроме того, мы демонстрируем, что предложенный фреймворк эффективен для тестирования моделей "текст-текст", что приводит к значительно более высокой частоте генерации токсичных ответов по сравнению с ранее зарегистрированными показателями.

English

Warning: this paper contains content that may be inappropriate or offensive. As generative models become available for public use in various applications, testing and analyzing vulnerabilities of these models has become a priority. Here we propose an automatic red teaming framework that evaluates a given model and exposes its vulnerabilities against unsafe and inappropriate content generation. Our framework uses in-context learning in a feedback loop to red team models and trigger them into unsafe content generation. We propose different in-context attack strategies to automatically learn effective and diverse adversarial prompts for text-to-image models. Our experiments demonstrate that compared to baseline approaches, our proposed strategy is significantly more effective in exposing vulnerabilities in Stable Diffusion (SD) model, even when the latter is enhanced with safety features. Furthermore, we demonstrate that the proposed framework is effective for red teaming text-to-text models, resulting in significantly higher toxic response generation rate compared to previously reported numbers.