Clockwork Diffusion : Génération efficace par distillation modèle-étape

Clockwork Diffusion: Efficient Generation With Model-Step Distillation

December 13, 2023

Auteurs: Amirhossein Habibian, Amir Ghodrati, Noor Fathima, Guillaume Sautiere, Risheek Garrepalli, Fatih Porikli, Jens Petersen

cs.AI

Résumé

Ce travail vise à améliorer l'efficacité des modèles de diffusion texte-image. Alors que les modèles de diffusion utilisent des opérations de débruitage basées sur UNet, coûteuses en calcul, à chaque étape de génération, nous identifions que toutes les opérations ne sont pas également pertinentes pour la qualité finale de la sortie. En particulier, nous observons que les couches UNet opérant sur des cartes de caractéristiques haute résolution sont relativement sensibles à de petites perturbations. En revanche, les cartes de caractéristiques basse résolution influencent la disposition sémantique de l'image finale et peuvent souvent être perturbées sans changement notable dans la sortie. Sur la base de cette observation, nous proposons Clockwork Diffusion, une méthode qui réutilise périodiquement les calculs des étapes de débruitage précédentes pour approximer les cartes de caractéristiques basse résolution à une ou plusieurs étapes ultérieures. Pour plusieurs modèles de référence, et pour la génération texte-image ainsi que l'édition d'images, nous démontrons que Clockwork conduit à des scores perceptuels comparables ou améliorés avec une complexité computationnelle drastiquement réduite. Par exemple, pour Stable Diffusion v1.5 avec 8 étapes DPM++, nous économisons 32% des FLOPs avec des changements négligeables en FID et CLIP.

English

This work aims to improve the efficiency of text-to-image diffusion models. While diffusion models use computationally expensive UNet-based denoising operations in every generation step, we identify that not all operations are equally relevant for the final output quality. In particular, we observe that UNet layers operating on high-res feature maps are relatively sensitive to small perturbations. In contrast, low-res feature maps influence the semantic layout of the final image and can often be perturbed with no noticeable change in the output. Based on this observation, we propose Clockwork Diffusion, a method that periodically reuses computation from preceding denoising steps to approximate low-res feature maps at one or more subsequent steps. For multiple baselines, and for both text-to-image generation and image editing, we demonstrate that Clockwork leads to comparable or improved perceptual scores with drastically reduced computational complexity. As an example, for Stable Diffusion v1.5 with 8 DPM++ steps we save 32% of FLOPs with negligible FID and CLIP change.