Clockwork Diffusion: Generazione Efficiente con Distillazione Modello-Passo

Clockwork Diffusion: Efficient Generation With Model-Step Distillation

December 13, 2023

Autori: Amirhossein Habibian, Amir Ghodrati, Noor Fathima, Guillaume Sautiere, Risheek Garrepalli, Fatih Porikli, Jens Petersen

cs.AI

Abstract

Questo lavoro mira a migliorare l'efficienza dei modelli di diffusione testo-immagine. Sebbene i modelli di diffusione utilizzino operazioni di denoising basate su UNet computazionalmente costose in ogni fase di generazione, abbiamo identificato che non tutte le operazioni sono ugualmente rilevanti per la qualità finale dell'output. In particolare, osserviamo che i livelli UNet che operano su mappe di caratteristiche ad alta risoluzione sono relativamente sensibili a piccole perturbazioni. Al contrario, le mappe di caratteristiche a bassa risoluzione influenzano il layout semantico dell'immagine finale e possono spesso essere perturbate senza cambiamenti evidenti nell'output. Sulla base di questa osservazione, proponiamo Clockwork Diffusion, un metodo che riutilizza periodicamente il calcolo delle precedenti fasi di denoising per approssimare le mappe di caratteristiche a bassa risoluzione in una o più fasi successive. Per molteplici baseline, sia per la generazione testo-immagine che per l'editing di immagini, dimostriamo che Clockwork porta a punteggi percettivi comparabili o migliorati con una complessità computazionale drasticamente ridotta. Ad esempio, per Stable Diffusion v1.5 con 8 passaggi DPM++, risparmiamo il 32% delle FLOP con cambiamenti trascurabili in FID e CLIP.

English

This work aims to improve the efficiency of text-to-image diffusion models. While diffusion models use computationally expensive UNet-based denoising operations in every generation step, we identify that not all operations are equally relevant for the final output quality. In particular, we observe that UNet layers operating on high-res feature maps are relatively sensitive to small perturbations. In contrast, low-res feature maps influence the semantic layout of the final image and can often be perturbed with no noticeable change in the output. Based on this observation, we propose Clockwork Diffusion, a method that periodically reuses computation from preceding denoising steps to approximate low-res feature maps at one or more subsequent steps. For multiple baselines, and for both text-to-image generation and image editing, we demonstrate that Clockwork leads to comparable or improved perceptual scores with drastically reduced computational complexity. As an example, for Stable Diffusion v1.5 with 8 DPM++ steps we save 32% of FLOPs with negligible FID and CLIP change.