Snelle Hoogresolutie Beeldsynthese met Latente Adversariële Diffusie Distillatie

Fast High-Resolution Image Synthesis with Latent Adversarial Diffusion Distillation

March 18, 2024

Auteurs: Axel Sauer, Frederic Boesel, Tim Dockhorn, Andreas Blattmann, Patrick Esser, Robin Rombach

cs.AI

Samenvatting

Diffusiemodellen zijn de belangrijkste drijfveer voor vooruitgang in beeld- en videosynthese, maar lijden onder een trage inferentiesnelheid. Distillatiemethoden, zoals de recent geïntroduceerde adversarial diffusion distillation (ADD), hebben als doel het model te verschuiven van veelstaps naar enkelstaps inferentie, zij het ten koste van dure en moeilijke optimalisatie vanwege de afhankelijkheid van een vaste, vooraf getrainde DINOv2-discriminator. Wij introduceren Latent Adversarial Diffusion Distillation (LADD), een nieuwe distillatiebenadering die de beperkingen van ADD overwint. In tegenstelling tot pixelgebaseerde ADD maakt LADD gebruik van generatieve kenmerken uit vooraf getrainde latente diffusiemodellen. Deze aanpak vereenvoudigt de training en verbetert de prestaties, waardoor hoogwaardige synthese van afbeeldingen met meerdere beeldverhoudingen mogelijk wordt. We passen LADD toe op Stable Diffusion 3 (8B) om SD3-Turbo te verkrijgen, een snel model dat de prestaties evenaart van state-of-the-art tekst-naar-beeldgeneratoren met slechts vier ongeleide samplingstappen. Bovendien onderzoeken we systematisch het schaalgedrag en demonstreren we de effectiviteit van LADD in diverse toepassingen zoals beeldbewerking en inpainting.

English

Diffusion models are the main driver of progress in image and video synthesis, but suffer from slow inference speed. Distillation methods, like the recently introduced adversarial diffusion distillation (ADD) aim to shift the model from many-shot to single-step inference, albeit at the cost of expensive and difficult optimization due to its reliance on a fixed pretrained DINOv2 discriminator. We introduce Latent Adversarial Diffusion Distillation (LADD), a novel distillation approach overcoming the limitations of ADD. In contrast to pixel-based ADD, LADD utilizes generative features from pretrained latent diffusion models. This approach simplifies training and enhances performance, enabling high-resolution multi-aspect ratio image synthesis. We apply LADD to Stable Diffusion 3 (8B) to obtain SD3-Turbo, a fast model that matches the performance of state-of-the-art text-to-image generators using only four unguided sampling steps. Moreover, we systematically investigate its scaling behavior and demonstrate LADD's effectiveness in various applications such as image editing and inpainting.