Clockwork Diffusion: Effiziente Generierung durch Modell-Schritt-Destillation

Clockwork Diffusion: Efficient Generation With Model-Step Distillation

December 13, 2023

Autoren: Amirhossein Habibian, Amir Ghodrati, Noor Fathima, Guillaume Sautiere, Risheek Garrepalli, Fatih Porikli, Jens Petersen

cs.AI

Zusammenfassung

Diese Arbeit zielt darauf ab, die Effizienz von Text-zu-Bild-Diffusionsmodellen zu verbessern. Während Diffusionsmodelle in jedem Generierungsschritt rechenintensive UNet-basierte Denoising-Operationen verwenden, stellen wir fest, dass nicht alle Operationen gleichermaßen relevant für die endgültige Ausgabequalität sind. Insbesondere beobachten wir, dass UNet-Schichten, die auf hochauflösenden Feature-Maps operieren, relativ empfindlich auf kleine Störungen reagieren. Im Gegensatz dazu beeinflussen niedrigauflösende Feature-Maps das semantische Layout des endgültigen Bildes und können oft gestört werden, ohne dass sich die Ausgabe merklich verändert. Basierend auf dieser Beobachtung schlagen wir Clockwork Diffusion vor, eine Methode, die periodisch Berechnungen aus vorherigen Denoising-Schritten wiederverwendet, um niedrigauflösende Feature-Maps in einem oder mehreren nachfolgenden Schritten zu approximieren. Für mehrere Baselines und sowohl für die Text-zu-Bild-Generierung als auch für die Bildbearbeitung zeigen wir, dass Clockwork vergleichbare oder verbesserte Wahrnehmungswerte bei drastisch reduzierter Rechenkomplexität liefert. Als Beispiel sparen wir für Stable Diffusion v1.5 mit 8 DPM++-Schritten 32 % der FLOPs bei vernachlässigbarer Änderung von FID und CLIP.

English

This work aims to improve the efficiency of text-to-image diffusion models. While diffusion models use computationally expensive UNet-based denoising operations in every generation step, we identify that not all operations are equally relevant for the final output quality. In particular, we observe that UNet layers operating on high-res feature maps are relatively sensitive to small perturbations. In contrast, low-res feature maps influence the semantic layout of the final image and can often be perturbed with no noticeable change in the output. Based on this observation, we propose Clockwork Diffusion, a method that periodically reuses computation from preceding denoising steps to approximate low-res feature maps at one or more subsequent steps. For multiple baselines, and for both text-to-image generation and image editing, we demonstrate that Clockwork leads to comparable or improved perceptual scores with drastically reduced computational complexity. As an example, for Stable Diffusion v1.5 with 8 DPM++ steps we save 32% of FLOPs with negligible FID and CLIP change.