Holistische Vergeetbenchmark: Een veelzijdige evaluatie voor het vergeten van tekst-naar-afbeelding diffusiemodel.

Holistic Unlearning Benchmark: A Multi-Faceted Evaluation for Text-to-Image Diffusion Model Unlearning

October 8, 2024

Auteurs: Saemi Moon, Minjong Lee, Sangdon Park, Dongwoo Kim

cs.AI

Samenvatting

Naarmate tekst-naar-afbeelding diffusiemodellen geavanceerder worden voor commerciële toepassingen, groeit ook de bezorgdheid over hun potentieel voor kwaadwillend en schadelijk gebruik. Modelvergetelheid is voorgesteld om de zorgen te verminderen door ongewenste en potentieel schadelijke informatie uit het voorgeleerde model te verwijderen. Tot nu toe wordt het succes van vergetelheid voornamelijk gemeten aan de hand van de vraag of het vergeten model een doelconcept kan genereren terwijl de kwaliteit van de afbeelding behouden blijft. Echter, vergetelheid wordt meestal getest onder beperkte scenario's, en de neveneffecten van vergetelheid zijn nauwelijks bestudeerd in de huidige literatuur. In dit werk analyseren we grondig vergetelheid onder verschillende scenario's met vijf belangrijke aspecten. Ons onderzoek onthult dat elke methode bijwerkingen of beperkingen heeft, vooral in complexere en realistischere situaties. Door ons uitgebreide evaluatiekader met de broncodes en artefacten vrij te geven, hopen we verdere onderzoek in dit gebied te stimuleren, wat zal leiden tot meer betrouwbare en effectieve vergetelheidsmethoden.

English

As text-to-image diffusion models become advanced enough for commercial applications, there is also increasing concern about their potential for malicious and harmful use. Model unlearning has been proposed to mitigate the concerns by removing undesired and potentially harmful information from the pre-trained model. So far, the success of unlearning is mainly measured by whether the unlearned model can generate a target concept while maintaining image quality. However, unlearning is typically tested under limited scenarios, and the side effects of unlearning have barely been studied in the current literature. In this work, we thoroughly analyze unlearning under various scenarios with five key aspects. Our investigation reveals that every method has side effects or limitations, especially in more complex and realistic situations. By releasing our comprehensive evaluation framework with the source codes and artifacts, we hope to inspire further research in this area, leading to more reliable and effective unlearning methods.