TRCE: На пути к надежному удалению вредоносных концепций в диффузионных моделях для генерации изображений из текста

TRCE: Towards Reliable Malicious Concept Erasure in Text-to-Image Diffusion Models

March 10, 2025

Авторы: Ruidong Chen, Honglin Guo, Lanjun Wang, Chenyu Zhang, Weizhi Nie, An-An Liu

cs.AI

Аннотация

Последние достижения в моделях диффузии для генерации изображений из текста позволяют создавать фотореалистичные изображения, но также несут риск генерации вредоносного контента, такого как NSFW-изображения. Для снижения этого риска изучаются методы стирания концепций, которые позволяют модели "разучивать" определённые концепции. Однако текущие исследования сталкиваются с трудностями в полном удалении вредоносных концепций, неявно встроенных в запросы (например, метафорические выражения или враждебные подсказки), при сохранении нормальной генеративной способности модели. Для решения этой задачи наше исследование предлагает TRCE, используя двухэтапную стратегию стирания концепций для достижения эффективного баланса между надёжным удалением и сохранением знаний. Во-первых, TRCE начинает с удаления вредоносной семантики, неявно встроенной в текстовые запросы. Определяя критическую цель отображения (т.е. вложение [EoT]), мы оптимизируем слои кросс-внимания для отображения вредоносных запросов на контекстуально схожие запросы, но с безопасными концепциями. Этот шаг предотвращает чрезмерное влияние вредоносной семантики на процесс денойзинга. Затем, учитывая детерминированные свойства траектории сэмплирования диффузионной модели, TRCE дополнительно направляет ранние предсказания денойзинга в безопасное направление и отдаляет их от небезопасного с помощью контрастного обучения, тем самым ещё больше избегая генерации вредоносного контента. Наконец, мы проводим всестороннюю оценку TRCE на нескольких бенчмарках для стирания вредоносных концепций, и результаты демонстрируют её эффективность в удалении вредоносных концепций при лучшем сохранении исходной генеративной способности модели. Код доступен по адресу: http://github.com/ddgoodgood/TRCE. ВНИМАНИЕ: Данная статья содержит контент, сгенерированный моделью, который может включать оскорбительные материалы.

English

Recent advances in text-to-image diffusion models enable photorealistic image generation, but they also risk producing malicious content, such as NSFW images. To mitigate risk, concept erasure methods are studied to facilitate the model to unlearn specific concepts. However, current studies struggle to fully erase malicious concepts implicitly embedded in prompts (e.g., metaphorical expressions or adversarial prompts) while preserving the model's normal generation capability. To address this challenge, our study proposes TRCE, using a two-stage concept erasure strategy to achieve an effective trade-off between reliable erasure and knowledge preservation. Firstly, TRCE starts by erasing the malicious semantics implicitly embedded in textual prompts. By identifying a critical mapping objective(i.e., the [EoT] embedding), we optimize the cross-attention layers to map malicious prompts to contextually similar prompts but with safe concepts. This step prevents the model from being overly influenced by malicious semantics during the denoising process. Following this, considering the deterministic properties of the sampling trajectory of the diffusion model, TRCE further steers the early denoising prediction toward the safe direction and away from the unsafe one through contrastive learning, thus further avoiding the generation of malicious content. Finally, we conduct comprehensive evaluations of TRCE on multiple malicious concept erasure benchmarks, and the results demonstrate its effectiveness in erasing malicious concepts while better preserving the model's original generation ability. The code is available at: http://github.com/ddgoodgood/TRCE. CAUTION: This paper includes model-generated content that may contain offensive material.