Быстрый синтез изображений высокого разрешения с латентной адверсарной диффузионной дистилляцией

Fast High-Resolution Image Synthesis with Latent Adversarial Diffusion Distillation

March 18, 2024

Авторы: Axel Sauer, Frederic Boesel, Tim Dockhorn, Andreas Blattmann, Patrick Esser, Robin Rombach

cs.AI

Аннотация

Модели диффузии являются основным двигателем прогресса в синтезе изображений и видео, но страдают от медленной скорости вывода. Методы дистилляции, такие как недавно представленная дистилляция адверсариальной диффузии (ADD), нацелены на переход модели от многократного к одношаговому выводу, хотя за счет дорогостоящей и сложной оптимизации из-за зависимости от фиксированного предварительно обученного дискриминатора DINOv2. Мы представляем Латентную Адверсариальную Дистилляцию Диффузии (LADD), новый подход к дистилляции, преодолевающий ограничения ADD. В отличие от пиксельной ADD, LADD использует генеративные признаки из предварительно обученных моделей латентной диффузии. Этот подход упрощает обучение и улучшает производительность, обеспечивая синтез изображений высокого разрешения с различными соотношениями сторон. Мы применяем LADD к Stable Diffusion 3 (8B) для получения SD3-Turbo, быстрой модели, которая соответствует производительности передовых генераторов текста в изображения, используя всего лишь четыре неуправляемых шага выборки. Более того, мы систематически исследуем ее поведение при масштабировании и демонстрируем эффективность LADD в различных приложениях, таких как редактирование изображений и заполнение пробелов.

English

Diffusion models are the main driver of progress in image and video synthesis, but suffer from slow inference speed. Distillation methods, like the recently introduced adversarial diffusion distillation (ADD) aim to shift the model from many-shot to single-step inference, albeit at the cost of expensive and difficult optimization due to its reliance on a fixed pretrained DINOv2 discriminator. We introduce Latent Adversarial Diffusion Distillation (LADD), a novel distillation approach overcoming the limitations of ADD. In contrast to pixel-based ADD, LADD utilizes generative features from pretrained latent diffusion models. This approach simplifies training and enhances performance, enabling high-resolution multi-aspect ratio image synthesis. We apply LADD to Stable Diffusion 3 (8B) to obtain SD3-Turbo, a fast model that matches the performance of state-of-the-art text-to-image generators using only four unguided sampling steps. Moreover, we systematically investigate its scaling behavior and demonstrate LADD's effectiveness in various applications such as image editing and inpainting.