FLIRT: Bucle de Retroalimentación en Pruebas de Resistencia en Contexto

FLIRT: Feedback Loop In-context Red Teaming

August 8, 2023

Autores: Ninareh Mehrabi, Palash Goyal, Christophe Dupuy, Qian Hu, Shalini Ghosh, Richard Zemel, Kai-Wei Chang, Aram Galstyan, Rahul Gupta

cs.AI

Resumen

Advertencia: este artículo contiene contenido que puede ser inapropiado u ofensivo. A medida que los modelos generativos están disponibles para uso público en diversas aplicaciones, la prueba y el análisis de las vulnerabilidades de estos modelos se ha convertido en una prioridad. Aquí proponemos un marco de red teaming automático que evalúa un modelo dado y expone sus vulnerabilidades frente a la generación de contenido inseguro e inapropiado. Nuestro marco utiliza el aprendizaje en contexto en un bucle de retroalimentación para realizar red teaming en los modelos y provocar la generación de contenido inseguro. Proponemos diferentes estrategias de ataque en contexto para aprender automáticamente indicaciones adversarias efectivas y diversas para modelos de texto a imagen. Nuestros experimentos demuestran que, en comparación con enfoques de referencia, nuestra estrategia propuesta es significativamente más efectiva para exponer vulnerabilidades en el modelo Stable Diffusion (SD), incluso cuando este último está mejorado con funciones de seguridad. Además, demostramos que el marco propuesto es efectivo para realizar red teaming en modelos de texto a texto, lo que resulta en una tasa de generación de respuestas tóxicas significativamente mayor en comparación con cifras reportadas previamente.

English

Warning: this paper contains content that may be inappropriate or offensive. As generative models become available for public use in various applications, testing and analyzing vulnerabilities of these models has become a priority. Here we propose an automatic red teaming framework that evaluates a given model and exposes its vulnerabilities against unsafe and inappropriate content generation. Our framework uses in-context learning in a feedback loop to red team models and trigger them into unsafe content generation. We propose different in-context attack strategies to automatically learn effective and diverse adversarial prompts for text-to-image models. Our experiments demonstrate that compared to baseline approaches, our proposed strategy is significantly more effective in exposing vulnerabilities in Stable Diffusion (SD) model, even when the latter is enhanced with safety features. Furthermore, we demonstrate that the proposed framework is effective for red teaming text-to-text models, resulting in significantly higher toxic response generation rate compared to previously reported numbers.