Комплексный бенчмарк забывания: Многоаспектная оценка для модели диффузии текста в изображение.

Holistic Unlearning Benchmark: A Multi-Faceted Evaluation for Text-to-Image Diffusion Model Unlearning

October 8, 2024

Авторы: Saemi Moon, Minjong Lee, Sangdon Park, Dongwoo Kim

cs.AI

Аннотация

Поскольку модели диффузии текста в изображение становятся достаточно продвинутыми для коммерческих приложений, возрастает обеспокоенность их потенциальным злоупотреблением и вредоносным использованием. Для смягчения этих опасений было предложено применение метода разучивания модели для удаления нежелательной и потенциально вредоносной информации из предварительно обученной модели. До сих пор успех разучивания в основном измерялся по способности разученной модели генерировать целевое понятие, сохраняя качество изображения. Однако разучивание обычно тестируется в ограниченных сценариях, и побочные эффекты разучивания едва ли были изучены в существующей литературе. В данной работе мы тщательно анализируем разучивание в различных сценариях с пятью ключевыми аспектами. Наше исследование показывает, что каждый метод имеет побочные эффекты или ограничения, особенно в более сложных и реалистичных ситуациях. Предоставляя наш комплексный оценочный каркас с исходными кодами и артефактами, мы надеемся вдохновить дальнейшие исследования в этой области, что приведет к более надежным и эффективным методам разучивания.

English

As text-to-image diffusion models become advanced enough for commercial applications, there is also increasing concern about their potential for malicious and harmful use. Model unlearning has been proposed to mitigate the concerns by removing undesired and potentially harmful information from the pre-trained model. So far, the success of unlearning is mainly measured by whether the unlearned model can generate a target concept while maintaining image quality. However, unlearning is typically tested under limited scenarios, and the side effects of unlearning have barely been studied in the current literature. In this work, we thoroughly analyze unlearning under various scenarios with five key aspects. Our investigation reveals that every method has side effects or limitations, especially in more complex and realistic situations. By releasing our comprehensive evaluation framework with the source codes and artifacts, we hope to inspire further research in this area, leading to more reliable and effective unlearning methods.