Trainingsgegevensbescherming met Compositionele Diffusiemodellen

Training Data Protection with Compositional Diffusion Models

August 2, 2023

Auteurs: Aditya Golatkar, Alessandro Achille, Ashwin Swaminathan, Stefano Soatto

cs.AI

Samenvatting

We introduceren Compartmentalized Diffusion Models (CDM), een methode om verschillende diffusiemodellen (of prompts) te trainen op afzonderlijke databronnen en deze willekeurig te combineren tijdens de inferentiefase. De individuele modellen kunnen geïsoleerd worden getraind, op verschillende tijdstippen, en op verschillende distributies en domeinen, en kunnen later worden samengesteld om prestaties te bereiken die vergelijkbaar zijn met een voorbeeldmodel dat op alle data tegelijkertijd is getraind. Bovendien bevat elk model alleen informatie over de subset van de data waaraan het tijdens de training is blootgesteld, wat verschillende vormen van bescherming van trainingsdata mogelijk maakt. In het bijzonder zijn CDMs de eerste methode die zowel selectief vergeten als continu leren mogelijk maakt voor grootschalige diffusiemodellen, evenals het aanbieden van gepersonaliseerde modellen op basis van de toegangsrechten van de gebruiker. CDMs maken het ook mogelijk om het belang van een subset van de data bij het genereren van specifieke samples te bepalen.

English

We introduce Compartmentalized Diffusion Models (CDM), a method to train different diffusion models (or prompts) on distinct data sources and arbitrarily compose them at inference time. The individual models can be trained in isolation, at different times, and on different distributions and domains and can be later composed to achieve performance comparable to a paragon model trained on all data simultaneously. Furthermore, each model only contains information about the subset of the data it was exposed to during training, enabling several forms of training data protection. In particular, CDMs are the first method to enable both selective forgetting and continual learning for large-scale diffusion models, as well as allowing serving customized models based on the user's access rights. CDMs also allow determining the importance of a subset of the data in generating particular samples.