TRCE: 텍스트-이미지 확산 모델에서 신뢰할 수 있는 악성 개념 삭제를 향하여

TRCE: Towards Reliable Malicious Concept Erasure in Text-to-Image Diffusion Models

March 10, 2025

저자: Ruidong Chen, Honglin Guo, Lanjun Wang, Chenyu Zhang, Weizhi Nie, An-An Liu

cs.AI

초록

최근 텍스트-이미지 확산 모델의 발전으로 사실적인 이미지 생성이 가능해졌지만, 동시에 NSFW 이미지와 같은 악성 콘텐츠를 생성할 위험도 증가했습니다. 이러한 위험을 완화하기 위해 특정 개념을 모델이 '잊도록' 하는 개념 삭제 방법이 연구되고 있습니다. 그러나 현재 연구는 은유적 표현이나 적대적 프롬프트와 같이 암묵적으로 내포된 악성 개념을 완전히 삭제하면서도 모델의 정상적인 생성 능력을 보존하는 데 어려움을 겪고 있습니다. 이러한 문제를 해결하기 위해, 본 연구는 TRCE(Two-stage Reliable Concept Erasure)를 제안하며, 두 단계의 개념 삭제 전략을 통해 신뢰할 수 있는 삭제와 지식 보존 사이의 효과적인 균형을 달성합니다. 먼저, TRCE는 텍스트 프롬프트에 암묵적으로 내포된 악성 의미를 삭제하는 것으로 시작합니다. [EoT] 임베딩과 같은 중요한 매핑 목표를 식별하여, 교차 주의(cross-attention) 레이어를 최적화해 악성 프롬프트를 안전한 개념을 가진 유사한 프롬프트로 매핑합니다. 이 단계는 디노이징(denoising) 과정에서 모델이 악성 의미에 과도하게 영향을 받는 것을 방지합니다. 이후, 확산 모델의 샘플링 궤적의 결정론적 특성을 고려하여, TRCE는 대조 학습(contrastive learning)을 통해 초기 디노이징 예측을 안전한 방향으로 유도하고 불안전한 방향에서 멀어지게 함으로써 악성 콘텐츠 생성을 추가적으로 방지합니다. 마지막으로, TRCE를 여러 악성 개념 삭제 벤치마크에서 종합적으로 평가한 결과, 악성 개념을 효과적으로 삭제하면서도 모델의 원래 생성 능력을 더 잘 보존하는 데 있어 그 유효성을 입증했습니다. 코드는 http://github.com/ddgoodgood/TRCE에서 확인할 수 있습니다. 주의: 본 논문에는 모델이 생성한 콘텐츠가 포함되어 있으며, 이는 불쾌감을 줄 수 있는 자료를 포함할 수 있습니다.

English

Recent advances in text-to-image diffusion models enable photorealistic image generation, but they also risk producing malicious content, such as NSFW images. To mitigate risk, concept erasure methods are studied to facilitate the model to unlearn specific concepts. However, current studies struggle to fully erase malicious concepts implicitly embedded in prompts (e.g., metaphorical expressions or adversarial prompts) while preserving the model's normal generation capability. To address this challenge, our study proposes TRCE, using a two-stage concept erasure strategy to achieve an effective trade-off between reliable erasure and knowledge preservation. Firstly, TRCE starts by erasing the malicious semantics implicitly embedded in textual prompts. By identifying a critical mapping objective(i.e., the [EoT] embedding), we optimize the cross-attention layers to map malicious prompts to contextually similar prompts but with safe concepts. This step prevents the model from being overly influenced by malicious semantics during the denoising process. Following this, considering the deterministic properties of the sampling trajectory of the diffusion model, TRCE further steers the early denoising prediction toward the safe direction and away from the unsafe one through contrastive learning, thus further avoiding the generation of malicious content. Finally, we conduct comprehensive evaluations of TRCE on multiple malicious concept erasure benchmarks, and the results demonstrate its effectiveness in erasing malicious concepts while better preserving the model's original generation ability. The code is available at: http://github.com/ddgoodgood/TRCE. CAUTION: This paper includes model-generated content that may contain offensive material.