Machine Unlearning voor Beeld-naar-Beeld Generatieve Modellen

Machine Unlearning for Image-to-Image Generative Models

February 1, 2024

Auteurs: Guihong Li, Hsiang Hsu, Chun-Fu, Chen, Radu Marculescu

cs.AI

Samenvatting

Machine unlearning is naar voren gekomen als een nieuw paradigma om opzettelijk gegevensmonsters te vergeten van een bepaald model, om te voldoen aan strenge regelgeving. Bestaande methoden voor machine unlearning zijn echter voornamelijk gericht op classificatiemodellen, waardoor het landschap van unlearning voor generatieve modellen relatief onontgonnen blijft. Dit artikel dient als een brug, waarbij de kloof wordt gedicht door een unificerend raamwerk te bieden voor machine unlearning bij image-to-image generatieve modellen. Binnen dit raamwerk stellen we een computationeel efficiënt algoritme voor, ondersteund door rigoureuze theoretische analyse, dat een verwaarloosbare prestatievermindering op de behouden monsters aantoont, terwijl de informatie van de te vergeten monsters effectief wordt verwijderd. Empirische studies op twee grootschalige datasets, ImageNet-1K en Places-365, tonen verder aan dat ons algoritme niet afhankelijk is van de beschikbaarheid van de behouden monsters, wat verder in overeenstemming is met het beleid voor gegevensretentie. Voor zover wij weten, is dit werk de eerste dat systemische, theoretische en empirische verkenningen van machine unlearning vertegenwoordigt, specifiek toegesneden op image-to-image generatieve modellen. Onze code is beschikbaar op https://github.com/jpmorganchase/l2l-generator-unlearning.

English

Machine unlearning has emerged as a new paradigm to deliberately forget data samples from a given model in order to adhere to stringent regulations. However, existing machine unlearning methods have been primarily focused on classification models, leaving the landscape of unlearning for generative models relatively unexplored. This paper serves as a bridge, addressing the gap by providing a unifying framework of machine unlearning for image-to-image generative models. Within this framework, we propose a computationally-efficient algorithm, underpinned by rigorous theoretical analysis, that demonstrates negligible performance degradation on the retain samples, while effectively removing the information from the forget samples. Empirical studies on two large-scale datasets, ImageNet-1K and Places-365, further show that our algorithm does not rely on the availability of the retain samples, which further complies with data retention policy. To our best knowledge, this work is the first that represents systemic, theoretical, empirical explorations of machine unlearning specifically tailored for image-to-image generative models. Our code is available at https://github.com/jpmorganchase/l2l-generator-unlearning.