Referencia Integral para el Olvido: Una Evaluación Multifacética para el Desaprendizaje del Modelo de Difusión de Texto a Imagen.

Holistic Unlearning Benchmark: A Multi-Faceted Evaluation for Text-to-Image Diffusion Model Unlearning

October 8, 2024

Autores: Saemi Moon, Minjong Lee, Sangdon Park, Dongwoo Kim

cs.AI

Resumen

A medida que los modelos de difusión de texto a imagen se vuelven lo suficientemente avanzados para aplicaciones comerciales, también hay una creciente preocupación sobre su potencial para un uso malicioso y perjudicial. Se ha propuesto el desaprendizaje del modelo para mitigar estas preocupaciones al eliminar información no deseada y potencialmente dañina del modelo preentrenado. Hasta ahora, el éxito del desaprendizaje se mide principalmente por si el modelo desaprendido puede generar un concepto objetivo manteniendo la calidad de la imagen. Sin embargo, el desaprendizaje suele ser probado en escenarios limitados y los efectos secundarios del desaprendizaje apenas han sido estudiados en la literatura actual. En este trabajo, analizamos exhaustivamente el desaprendizaje bajo varios escenarios con cinco aspectos clave. Nuestra investigación revela que cada método tiene efectos secundarios o limitaciones, especialmente en situaciones más complejas y realistas. Al liberar nuestro marco de evaluación integral con los códigos fuente y artefactos, esperamos inspirar más investigaciones en esta área, lo que conducirá a métodos de desaprendizaje más confiables y efectivos.

English

As text-to-image diffusion models become advanced enough for commercial applications, there is also increasing concern about their potential for malicious and harmful use. Model unlearning has been proposed to mitigate the concerns by removing undesired and potentially harmful information from the pre-trained model. So far, the success of unlearning is mainly measured by whether the unlearned model can generate a target concept while maintaining image quality. However, unlearning is typically tested under limited scenarios, and the side effects of unlearning have barely been studied in the current literature. In this work, we thoroughly analyze unlearning under various scenarios with five key aspects. Our investigation reveals that every method has side effects or limitations, especially in more complex and realistic situations. By releasing our comprehensive evaluation framework with the source codes and artifacts, we hope to inspire further research in this area, leading to more reliable and effective unlearning methods.