Clockwork Diffusion: Эффективная генерация с дистилляцией на уровне шагов модели

Clockwork Diffusion: Efficient Generation With Model-Step Distillation

December 13, 2023

Авторы: Amirhossein Habibian, Amir Ghodrati, Noor Fathima, Guillaume Sautiere, Risheek Garrepalli, Fatih Porikli, Jens Petersen

cs.AI

Аннотация

Данная работа направлена на повышение эффективности моделей диффузии для генерации изображений из текста. Хотя модели диффузии используют вычислительно затратные операции шумоподавления на основе UNet на каждом этапе генерации, мы выявили, что не все операции одинаково важны для итогового качества изображения. В частности, мы наблюдаем, что слои UNet, работающие с картами признаков высокого разрешения, относительно чувствительны к небольшим изменениям. В то же время карты признаков низкого разрешения влияют на семантическую структуру итогового изображения и часто могут быть изменены без заметного ухудшения результата. На основе этого наблюдения мы предлагаем метод Clockwork Diffusion, который периодически повторно использует вычисления из предыдущих этапов шумоподавления для аппроксимации карт признаков низкого разрешения на одном или нескольких последующих шагах. Для нескольких базовых моделей, а также для задач генерации изображений из текста и редактирования изображений, мы демонстрируем, что Clockwork обеспечивает сопоставимые или улучшенные показатели восприятия при значительном снижении вычислительной сложности. Например, для Stable Diffusion v1.5 с 8 шагами DPM++ мы экономим 32% FLOPs с незначительными изменениями в метриках FID и CLIP.

English

This work aims to improve the efficiency of text-to-image diffusion models. While diffusion models use computationally expensive UNet-based denoising operations in every generation step, we identify that not all operations are equally relevant for the final output quality. In particular, we observe that UNet layers operating on high-res feature maps are relatively sensitive to small perturbations. In contrast, low-res feature maps influence the semantic layout of the final image and can often be perturbed with no noticeable change in the output. Based on this observation, we propose Clockwork Diffusion, a method that periodically reuses computation from preceding denoising steps to approximate low-res feature maps at one or more subsequent steps. For multiple baselines, and for both text-to-image generation and image editing, we demonstrate that Clockwork leads to comparable or improved perceptual scores with drastically reduced computational complexity. As an example, for Stable Diffusion v1.5 with 8 DPM++ steps we save 32% of FLOPs with negligible FID and CLIP change.