Conditionele Diffusie Destillatie

Samenvatting

Generatieve diffusiemodellen bieden sterke a priori's voor tekst-naar-beeldgeneratie en dienen daarmee als basis voor conditionele generatietaken zoals beeldbewerking, restauratie en superresolutie. Een belangrijke beperking van diffusiemodellen is echter hun trage samplingtijd. Om deze uitdaging aan te pakken, presenteren we een nieuwe conditionele distillatiemethode die is ontworpen om de diffusie-a priori's aan te vullen met behulp van beeldcondities, waardoor conditionele sampling met zeer weinig stappen mogelijk wordt. We distilleren de onvoorwaardelijke voorafgaande training direct in één fase via gezamenlijk leren, wat de eerdere tweefasenprocedures die zowel distillatie als conditionele finetuning afzonderlijk omvatten, aanzienlijk vereenvoudigt. Bovendien maakt onze methode een nieuwe parameter-efficiënte distillatiemechanisme mogelijk dat elke taak distilleert met slechts een klein aantal aanvullende parameters in combinatie met de gedeelde bevroren onvoorwaardelijke backbone. Experimenten over meerdere taken, waaronder superresolutie, beeldbewerking en diepte-naar-beeldgeneratie, tonen aan dat onze methode bestaande distillatietechnieken overtreft voor dezelfde samplingtijd. Opmerkelijk is dat onze methode de eerste distillatiestrategie is die de prestaties kan evenaren van de veel langzamere fijn afgestemde conditionele diffusiemodellen.

English

Generative diffusion models provide strong priors for text-to-image generation and thereby serve as a foundation for conditional generation tasks such as image editing, restoration, and super-resolution. However, one major limitation of diffusion models is their slow sampling time. To address this challenge, we present a novel conditional distillation method designed to supplement the diffusion priors with the help of image conditions, allowing for conditional sampling with very few steps. We directly distill the unconditional pre-training in a single stage through joint-learning, largely simplifying the previous two-stage procedures that involve both distillation and conditional finetuning separately. Furthermore, our method enables a new parameter-efficient distillation mechanism that distills each task with only a small number of additional parameters combined with the shared frozen unconditional backbone. Experiments across multiple tasks including super-resolution, image editing, and depth-to-image generation demonstrate that our method outperforms existing distillation techniques for the same sampling time. Notably, our method is the first distillation strategy that can match the performance of the much slower fine-tuned conditional diffusion models.

Conditionele Diffusie Destillatie

Conditional Diffusion Distillation

Samenvatting

Support