Вложенные процессы диффузии для генерации изображений в реальном времени

Nested Diffusion Processes for Anytime Image Generation

May 30, 2023

Авторы: Noam Elata, Bahjat Kawar, Tomer Michaeli, Michael Elad

cs.AI

Аннотация

Диффузионные модели представляют собой современный подход к генерации изображений, синтезируя высококачественные изображения путем разложения процесса генерации на множество мелкозернистых шагов удаления шума. Несмотря на их высокую производительность, диффузионные модели требуют значительных вычислительных ресурсов, включая множество оценок нейронных функций (NFEs). В данной работе мы предлагаем метод на основе диффузии, который способен генерировать приемлемые изображения при остановке в произвольные моменты времени до завершения процесса. Используя предобученные диффузионные модели, мы демонстрируем, что схему генерации можно перестроить в виде двух вложенных диффузионных процессов, что позволяет быстро итеративно улучшать сгенерированное изображение. Мы применяем этот подход, называемый Вложенной Диффузией, чтобы заглянуть внутрь процесса генерации и обеспечить гибкое планирование на основе мгновенных предпочтений пользователя. В экспериментах на данных ImageNet и в задаче генерации изображений по тексту с использованием Stable Diffusion мы показываем как качественно, так и количественно, что промежуточное качество генерации нашего метода значительно превосходит исходную диффузионную модель, при этом итоговый результат медленной генерации остается сопоставимым.

English

Diffusion models are the current state-of-the-art in image generation, synthesizing high-quality images by breaking down the generation process into many fine-grained denoising steps. Despite their good performance, diffusion models are computationally expensive, requiring many neural function evaluations (NFEs). In this work, we propose an anytime diffusion-based method that can generate viable images when stopped at arbitrary times before completion. Using existing pretrained diffusion models, we show that the generation scheme can be recomposed as two nested diffusion processes, enabling fast iterative refinement of a generated image. We use this Nested Diffusion approach to peek into the generation process and enable flexible scheduling based on the instantaneous preference of the user. In experiments on ImageNet and Stable Diffusion-based text-to-image generation, we show, both qualitatively and quantitatively, that our method's intermediate generation quality greatly exceeds that of the original diffusion model, while the final slow generation result remains comparable.