Bilan de désapprentissage holistique : une évaluation multifacette pour le désapprentissage du modèle de diffusion texte-image

Holistic Unlearning Benchmark: A Multi-Faceted Evaluation for Text-to-Image Diffusion Model Unlearning

October 8, 2024

Auteurs: Saemi Moon, Minjong Lee, Sangdon Park, Dongwoo Kim

cs.AI

Résumé

À mesure que les modèles de diffusion texte-image deviennent suffisamment avancés pour des applications commerciales, il y a également une préoccupation croissante concernant leur potentiel d'utilisation malveillante et nuisible. Le désapprentissage du modèle a été proposé pour atténuer ces préoccupations en supprimant les informations indésirables et potentiellement nocives du modèle pré-entraîné. Jusqu'à présent, le succès du désapprentissage est principalement mesuré par la capacité du modèle désappris à générer un concept cible tout en maintenant la qualité de l'image. Cependant, le désapprentissage est généralement testé dans des scénarios limités, et les effets secondaires du désapprentissage ont à peine été étudiés dans la littérature actuelle. Dans ce travail, nous analysons en profondeur le désapprentissage dans divers scénarios avec cinq aspects clés. Notre enquête révèle que chaque méthode a des effets secondaires ou des limitations, surtout dans des situations plus complexes et réalistes. En publiant notre cadre d'évaluation complet avec les codes sources et les artefacts, nous espérons inspirer de nouvelles recherches dans ce domaine, menant à des méthodes de désapprentissage plus fiables et efficaces.

English

As text-to-image diffusion models become advanced enough for commercial applications, there is also increasing concern about their potential for malicious and harmful use. Model unlearning has been proposed to mitigate the concerns by removing undesired and potentially harmful information from the pre-trained model. So far, the success of unlearning is mainly measured by whether the unlearned model can generate a target concept while maintaining image quality. However, unlearning is typically tested under limited scenarios, and the side effects of unlearning have barely been studied in the current literature. In this work, we thoroughly analyze unlearning under various scenarios with five key aspects. Our investigation reveals that every method has side effects or limitations, especially in more complex and realistic situations. By releasing our comprehensive evaluation framework with the source codes and artifacts, we hope to inspire further research in this area, leading to more reliable and effective unlearning methods.