FLIRT: Loop de Feedback em Testes de Resistência em Contexto

FLIRT: Feedback Loop In-context Red Teaming

August 8, 2023

Autores: Ninareh Mehrabi, Palash Goyal, Christophe Dupuy, Qian Hu, Shalini Ghosh, Richard Zemel, Kai-Wei Chang, Aram Galstyan, Rahul Gupta

cs.AI

Resumo

Aviso: este artigo contém conteúdo que pode ser inadequado ou ofensivo. À medida que os modelos generativos se tornam disponíveis para uso público em diversas aplicações, testar e analisar as vulnerabilidades desses modelos tornou-se uma prioridade. Aqui, propomos uma estrutura automatizada de red teaming que avalia um determinado modelo e expõe suas vulnerabilidades em relação à geração de conteúdo inseguro e inadequado. Nossa estrutura utiliza aprendizado em contexto em um ciclo de feedback para realizar red teaming em modelos e induzi-los a gerar conteúdo inseguro. Propomos diferentes estratégias de ataque em contexto para aprender automaticamente prompts adversários eficazes e diversificados para modelos de texto para imagem. Nossos experimentos demonstram que, em comparação com abordagens de linha de base, nossa estratégia proposta é significativamente mais eficaz em expor vulnerabilidades no modelo Stable Diffusion (SD), mesmo quando este é aprimorado com recursos de segurança. Além disso, demonstramos que a estrutura proposta é eficaz para red teaming em modelos de texto para texto, resultando em uma taxa significativamente maior de geração de respostas tóxicas em comparação com números relatados anteriormente.

English

Warning: this paper contains content that may be inappropriate or offensive. As generative models become available for public use in various applications, testing and analyzing vulnerabilities of these models has become a priority. Here we propose an automatic red teaming framework that evaluates a given model and exposes its vulnerabilities against unsafe and inappropriate content generation. Our framework uses in-context learning in a feedback loop to red team models and trigger them into unsafe content generation. We propose different in-context attack strategies to automatically learn effective and diverse adversarial prompts for text-to-image models. Our experiments demonstrate that compared to baseline approaches, our proposed strategy is significantly more effective in exposing vulnerabilities in Stable Diffusion (SD) model, even when the latter is enhanced with safety features. Furthermore, we demonstrate that the proposed framework is effective for red teaming text-to-text models, resulting in significantly higher toxic response generation rate compared to previously reported numbers.