Maschinelles Verlernen für Bild-zu-Bild-Generative Modelle

Machine Unlearning for Image-to-Image Generative Models

February 1, 2024

Autoren: Guihong Li, Hsiang Hsu, Chun-Fu, Chen, Radu Marculescu

cs.AI

Zusammenfassung

Machine Unlearning hat sich als neues Paradigma etabliert, um gezielt Datenproben aus einem gegebenen Modell zu vergessen, um strengen Vorschriften zu entsprechen. Bisher konzentrierten sich bestehende Methoden des Machine Unlearning jedoch hauptsächlich auf Klassifikationsmodelle, wodurch die Landschaft des Unlearning für generative Modelle weitgehend unerforscht blieb. Diese Arbeit schließt diese Lücke, indem sie einen vereinheitlichenden Rahmen für Machine Unlearning bei Bild-zu-Bild-generativen Modellen bietet. Innerhalb dieses Rahmens schlagen wir einen recheneffizienten Algorithmus vor, der durch eine rigorose theoretische Analyse untermauert ist und eine vernachlässigbare Leistungsverschlechterung bei den Behaltproben zeigt, während er die Informationen der Vergessproben effektiv entfernt. Empirische Studien an zwei groß angelegten Datensätzen, ImageNet-1K und Places-365, zeigen weiterhin, dass unser Algorithmus nicht auf die Verfügbarkeit der Behaltproben angewiesen ist, was zusätzlich der Datenaufbewahrungspolitik entspricht. Nach bestem Wissen ist diese Arbeit die erste, die systematische, theoretische und empirische Untersuchungen des Machine Unlearning speziell für Bild-zu-Bild-generative Modelle darstellt. Unser Code ist verfügbar unter https://github.com/jpmorganchase/l2l-generator-unlearning.

English

Machine unlearning has emerged as a new paradigm to deliberately forget data samples from a given model in order to adhere to stringent regulations. However, existing machine unlearning methods have been primarily focused on classification models, leaving the landscape of unlearning for generative models relatively unexplored. This paper serves as a bridge, addressing the gap by providing a unifying framework of machine unlearning for image-to-image generative models. Within this framework, we propose a computationally-efficient algorithm, underpinned by rigorous theoretical analysis, that demonstrates negligible performance degradation on the retain samples, while effectively removing the information from the forget samples. Empirical studies on two large-scale datasets, ImageNet-1K and Places-365, further show that our algorithm does not rely on the availability of the retain samples, which further complies with data retention policy. To our best knowledge, this work is the first that represents systemic, theoretical, empirical explorations of machine unlearning specifically tailored for image-to-image generative models. Our code is available at https://github.com/jpmorganchase/l2l-generator-unlearning.