Clockwork Diffusion: Efficiënte Generatie met Model-Stap Distillatie

Clockwork Diffusion: Efficient Generation With Model-Step Distillation

December 13, 2023

Auteurs: Amirhossein Habibian, Amir Ghodrati, Noor Fathima, Guillaume Sautiere, Risheek Garrepalli, Fatih Porikli, Jens Petersen

cs.AI

Samenvatting

Dit werk heeft als doel de efficiëntie van tekst-naar-beeld diffusiemodellen te verbeteren. Hoewel diffusiemodellen in elke generatiestap rekenintensieve UNet-gebaseerde denoising-operaties gebruiken, constateren we dat niet alle operaties even relevant zijn voor de uiteindelijke uitvoerkwaliteit. In het bijzonder merken we op dat UNet-lagen die werken op hoog-resolutie kenmerkkaarten relatief gevoelig zijn voor kleine verstoringen. Daarentegen beïnvloeden laag-resolutie kenmerkkaarten de semantische opmaak van het uiteindelijke beeld en kunnen ze vaak worden verstoord zonder merkbare verandering in de uitvoer. Op basis van deze observatie stellen we Clockwork Diffusion voor, een methode die periodiek berekeningen van voorgaande denoising-stappen hergebruikt om laag-resolutie kenmerkkaarten in een of meer volgende stappen te benaderen. Voor meerdere basislijnen, en voor zowel tekst-naar-beeld generatie als beeldbewerking, tonen we aan dat Clockwork leidt tot vergelijkbare of verbeterde perceptuele scores met aanzienlijk verminderde rekencomplexiteit. Als voorbeeld besparen we voor Stable Diffusion v1.5 met 8 DPM++ stappen 32% van de FLOPs met verwaarloosbare veranderingen in FID en CLIP.

English

This work aims to improve the efficiency of text-to-image diffusion models. While diffusion models use computationally expensive UNet-based denoising operations in every generation step, we identify that not all operations are equally relevant for the final output quality. In particular, we observe that UNet layers operating on high-res feature maps are relatively sensitive to small perturbations. In contrast, low-res feature maps influence the semantic layout of the final image and can often be perturbed with no noticeable change in the output. Based on this observation, we propose Clockwork Diffusion, a method that periodically reuses computation from preceding denoising steps to approximate low-res feature maps at one or more subsequent steps. For multiple baselines, and for both text-to-image generation and image editing, we demonstrate that Clockwork leads to comparable or improved perceptual scores with drastically reduced computational complexity. As an example, for Stable Diffusion v1.5 with 8 DPM++ steps we save 32% of FLOPs with negligible FID and CLIP change.