Clockwork Diffusion: Geração Eficiente com Distilação de Passos do Modelo

Clockwork Diffusion: Efficient Generation With Model-Step Distillation

December 13, 2023

Autores: Amirhossein Habibian, Amir Ghodrati, Noor Fathima, Guillaume Sautiere, Risheek Garrepalli, Fatih Porikli, Jens Petersen

cs.AI

Resumo

Este trabalho visa melhorar a eficiência dos modelos de difusão texto-imagem. Embora os modelos de difusão utilizem operações de remoção de ruído baseadas em UNet, que são computacionalmente caras, em cada etapa de geração, identificamos que nem todas as operações são igualmente relevantes para a qualidade final da saída. Em particular, observamos que as camadas da UNet que operam em mapas de características de alta resolução são relativamente sensíveis a pequenas perturbações. Em contraste, os mapas de características de baixa resolução influenciam o layout semântico da imagem final e podem frequentemente ser perturbados sem alterações perceptíveis na saída. Com base nessa observação, propomos o Clockwork Diffusion, um método que reutiliza periodicamente cálculos de etapas anteriores de remoção de ruído para aproximar mapas de características de baixa resolução em uma ou mais etapas subsequentes. Para múltiplas linhas de base, tanto na geração de texto-imagem quanto na edição de imagens, demonstramos que o Clockwork leva a pontuações perceptivas comparáveis ou melhoradas com uma redução drástica na complexidade computacional. Como exemplo, para o Stable Diffusion v1.5 com 8 passos DPM++, economizamos 32% de FLOPs com mudanças insignificantes no FID e no CLIP.

English

This work aims to improve the efficiency of text-to-image diffusion models. While diffusion models use computationally expensive UNet-based denoising operations in every generation step, we identify that not all operations are equally relevant for the final output quality. In particular, we observe that UNet layers operating on high-res feature maps are relatively sensitive to small perturbations. In contrast, low-res feature maps influence the semantic layout of the final image and can often be perturbed with no noticeable change in the output. Based on this observation, we propose Clockwork Diffusion, a method that periodically reuses computation from preceding denoising steps to approximate low-res feature maps at one or more subsequent steps. For multiple baselines, and for both text-to-image generation and image editing, we demonstrate that Clockwork leads to comparable or improved perceptual scores with drastically reduced computational complexity. As an example, for Stable Diffusion v1.5 with 8 DPM++ steps we save 32% of FLOPs with negligible FID and CLIP change.