Distillation de Diffusion Conditionnelle

Conditional Diffusion Distillation

October 2, 2023

papers.authors: Kangfu Mei, Mauricio Delbracio, Hossein Talebi, Zhengzhong Tu, Vishal M. Patel, Peyman Milanfar

cs.AI

papers.abstract

Les modèles de diffusion générative offrent des préconisations solides pour la génération de texte à image et servent ainsi de fondement pour des tâches de génération conditionnelle telles que l'édition d'images, la restauration et la super-résolution. Cependant, une limitation majeure des modèles de diffusion est leur temps d'échantillonnage lent. Pour relever ce défi, nous présentons une nouvelle méthode de distillation conditionnelle conçue pour compléter les préconisations de diffusion à l'aide de conditions d'image, permettant un échantillonnage conditionnel avec très peu d'étapes. Nous distillons directement l'apprentissage préalable non conditionnel en une seule étape par apprentissage conjoint, simplifiant ainsi largement les procédures précédentes en deux étapes qui impliquaient à la fois la distillation et l'ajustement conditionnel séparément. En outre, notre méthode permet un nouveau mécanisme de distillation efficace en paramètres qui distille chaque tâche avec seulement un petit nombre de paramètres supplémentaires combinés à l'architecture non conditionnelle partagée et figée. Les expériences menées sur plusieurs tâches, notamment la super-résolution, l'édition d'images et la génération d'images à partir de la profondeur, démontrent que notre méthode surpasse les techniques de distillation existantes pour le même temps d'échantillonnage. Notamment, notre méthode est la première stratégie de distillation capable de rivaliser avec les performances des modèles de diffusion conditionnels ajustés, bien plus lents.

English

Generative diffusion models provide strong priors for text-to-image generation and thereby serve as a foundation for conditional generation tasks such as image editing, restoration, and super-resolution. However, one major limitation of diffusion models is their slow sampling time. To address this challenge, we present a novel conditional distillation method designed to supplement the diffusion priors with the help of image conditions, allowing for conditional sampling with very few steps. We directly distill the unconditional pre-training in a single stage through joint-learning, largely simplifying the previous two-stage procedures that involve both distillation and conditional finetuning separately. Furthermore, our method enables a new parameter-efficient distillation mechanism that distills each task with only a small number of additional parameters combined with the shared frozen unconditional backbone. Experiments across multiple tasks including super-resolution, image editing, and depth-to-image generation demonstrate that our method outperforms existing distillation techniques for the same sampling time. Notably, our method is the first distillation strategy that can match the performance of the much slower fine-tuned conditional diffusion models.