Síntesis Rápida de Imágenes de Alta Resolución con Distilación de Difusión Adversarial en el Espacio Latente

Fast High-Resolution Image Synthesis with Latent Adversarial Diffusion Distillation

March 18, 2024

Autores: Axel Sauer, Frederic Boesel, Tim Dockhorn, Andreas Blattmann, Patrick Esser, Robin Rombach

cs.AI

Resumen

Los modelos de difusión son el principal motor de progreso en la síntesis de imágenes y videos, pero sufren de una velocidad de inferencia lenta. Los métodos de destilación, como el recientemente introducido Adversarial Diffusion Distillation (ADD), buscan transformar el modelo de una inferencia de múltiples pasos a un solo paso, aunque a costa de una optimización costosa y difícil debido a su dependencia de un discriminador DINOv2 preentrenado y fijo. Introducimos Latent Adversarial Diffusion Distillation (LADD), un enfoque novedoso de destilación que supera las limitaciones de ADD. A diferencia de ADD basado en píxeles, LADD utiliza características generativas de modelos de difusión latente preentrenados. Este enfoque simplifica el entrenamiento y mejora el rendimiento, permitiendo la síntesis de imágenes de alta resolución con múltiples relaciones de aspecto. Aplicamos LADD a Stable Diffusion 3 (8B) para obtener SD3-Turbo, un modelo rápido que iguala el rendimiento de los generadores de texto a imagen más avanzados utilizando solo cuatro pasos de muestreo no guiados. Además, investigamos sistemáticamente su comportamiento de escalado y demostramos la efectividad de LADD en diversas aplicaciones, como la edición de imágenes y la restauración.

English

Diffusion models are the main driver of progress in image and video synthesis, but suffer from slow inference speed. Distillation methods, like the recently introduced adversarial diffusion distillation (ADD) aim to shift the model from many-shot to single-step inference, albeit at the cost of expensive and difficult optimization due to its reliance on a fixed pretrained DINOv2 discriminator. We introduce Latent Adversarial Diffusion Distillation (LADD), a novel distillation approach overcoming the limitations of ADD. In contrast to pixel-based ADD, LADD utilizes generative features from pretrained latent diffusion models. This approach simplifies training and enhances performance, enabling high-resolution multi-aspect ratio image synthesis. We apply LADD to Stable Diffusion 3 (8B) to obtain SD3-Turbo, a fast model that matches the performance of state-of-the-art text-to-image generators using only four unguided sampling steps. Moreover, we systematically investigate its scaling behavior and demonstrate LADD's effectiveness in various applications such as image editing and inpainting.