Ganzheitlicher Lernrückstand-Test: Eine vielschichtige Bewertung für das Entlernen von Text-zu-Bild-Diffusionsmodellen

Holistic Unlearning Benchmark: A Multi-Faceted Evaluation for Text-to-Image Diffusion Model Unlearning

October 8, 2024

Autoren: Saemi Moon, Minjong Lee, Sangdon Park, Dongwoo Kim

cs.AI

Zusammenfassung

Da Text-zu-Bild-Diffusionsmodelle für kommerzielle Anwendungen immer fortschrittlicher werden, wächst auch die Besorgnis über ihr Potenzial für bösartige und schädliche Nutzung. Das Modellverlernen wurde vorgeschlagen, um die Bedenken zu mildern, indem unerwünschte und potenziell schädliche Informationen aus dem vorab trainierten Modell entfernt werden. Bisher wird der Erfolg des Verlernens hauptsächlich daran gemessen, ob das verlernte Modell ein Zielkonzept generieren kann, während die Bildqualität beibehalten wird. Das Verlernen wird jedoch in der Regel unter begrenzten Szenarien getestet, und die Nebenwirkungen des Verlernens wurden in der aktuellen Literatur kaum untersucht. In dieser Arbeit analysieren wir gründlich das Verlernen unter verschiedenen Szenarien mit fünf Schlüsselaspekten. Unsere Untersuchung zeigt, dass jede Methode Nebenwirkungen oder Einschränkungen aufweist, insbesondere in komplexeren und realistischeren Situationen. Durch die Veröffentlichung unseres umfassenden Bewertungsrahmens mit den Quellcodes und Artefakten hoffen wir, weitere Forschungen in diesem Bereich anzuregen, die zu zuverlässigeren und effektiveren Verlernmethoden führen.

English

As text-to-image diffusion models become advanced enough for commercial applications, there is also increasing concern about their potential for malicious and harmful use. Model unlearning has been proposed to mitigate the concerns by removing undesired and potentially harmful information from the pre-trained model. So far, the success of unlearning is mainly measured by whether the unlearned model can generate a target concept while maintaining image quality. However, unlearning is typically tested under limited scenarios, and the side effects of unlearning have barely been studied in the current literature. In this work, we thoroughly analyze unlearning under various scenarios with five key aspects. Our investigation reveals that every method has side effects or limitations, especially in more complex and realistic situations. By releasing our comprehensive evaluation framework with the source codes and artifacts, we hope to inspire further research in this area, leading to more reliable and effective unlearning methods.