TRCE: Rumo à Eliminação Confiável de Conceitos Maliciosos em Modelos de Difusão Texto-para-Imagem

TRCE: Towards Reliable Malicious Concept Erasure in Text-to-Image Diffusion Models

March 10, 2025

Autores: Ruidong Chen, Honglin Guo, Lanjun Wang, Chenyu Zhang, Weizhi Nie, An-An Liu

cs.AI

Resumo

Avanços recentes em modelos de difusão de texto para imagem permitem a geração de imagens fotorealistas, mas também trazem o risco de produzir conteúdo malicioso, como imagens NSFW. Para mitigar esse risco, métodos de remoção de conceitos são estudados para facilitar que o modelo desaprenda conceitos específicos. No entanto, os estudos atuais enfrentam dificuldades para apagar completamente conceitos maliciosos implicitamente embutidos em prompts (por exemplo, expressões metafóricas ou prompts adversariais) enquanto preservam a capacidade normal de geração do modelo. Para enfrentar esse desafio, nosso estudo propõe o TRCE, utilizando uma estratégia de remoção de conceitos em duas etapas para alcançar um equilíbrio eficaz entre a remoção confiável e a preservação do conhecimento. Primeiramente, o TRCE começa apagando a semântica maliciosa implicitamente embutida em prompts textuais. Ao identificar um objetivo de mapeamento crítico (ou seja, o embedding [EoT]), otimizamos as camadas de atenção cruzada para mapear prompts maliciosos para prompts contextualmente semelhantes, mas com conceitos seguros. Essa etapa impede que o modelo seja excessivamente influenciado por semânticas maliciosas durante o processo de remoção de ruído. Em seguida, considerando as propriedades determinísticas da trajetória de amostragem do modelo de difusão, o TRCE direciona ainda mais a previsão inicial de remoção de ruído para a direção segura e longe da direção insegura por meio de aprendizado contrastivo, evitando assim a geração de conteúdo malicioso. Por fim, realizamos avaliações abrangentes do TRCE em vários benchmarks de remoção de conceitos maliciosos, e os resultados demonstram sua eficácia em apagar conceitos maliciosos enquanto preserva melhor a capacidade original de geração do modelo. O código está disponível em: http://github.com/ddgoodgood/TRCE. ATENÇÃO: Este artigo inclui conteúdo gerado por modelos que pode conter material ofensivo.

English

Recent advances in text-to-image diffusion models enable photorealistic image generation, but they also risk producing malicious content, such as NSFW images. To mitigate risk, concept erasure methods are studied to facilitate the model to unlearn specific concepts. However, current studies struggle to fully erase malicious concepts implicitly embedded in prompts (e.g., metaphorical expressions or adversarial prompts) while preserving the model's normal generation capability. To address this challenge, our study proposes TRCE, using a two-stage concept erasure strategy to achieve an effective trade-off between reliable erasure and knowledge preservation. Firstly, TRCE starts by erasing the malicious semantics implicitly embedded in textual prompts. By identifying a critical mapping objective(i.e., the [EoT] embedding), we optimize the cross-attention layers to map malicious prompts to contextually similar prompts but with safe concepts. This step prevents the model from being overly influenced by malicious semantics during the denoising process. Following this, considering the deterministic properties of the sampling trajectory of the diffusion model, TRCE further steers the early denoising prediction toward the safe direction and away from the unsafe one through contrastive learning, thus further avoiding the generation of malicious content. Finally, we conduct comprehensive evaluations of TRCE on multiple malicious concept erasure benchmarks, and the results demonstrate its effectiveness in erasing malicious concepts while better preserving the model's original generation ability. The code is available at: http://github.com/ddgoodgood/TRCE. CAUTION: This paper includes model-generated content that may contain offensive material.