Schnelle hochauflösende Bildsynthese mit latenter adversarischer Diffusionsdestillation

Fast High-Resolution Image Synthesis with Latent Adversarial Diffusion Distillation

March 18, 2024

Autoren: Axel Sauer, Frederic Boesel, Tim Dockhorn, Andreas Blattmann, Patrick Esser, Robin Rombach

cs.AI

Zusammenfassung

Diffusionsmodelle sind der Haupttreiber des Fortschritts in der Bild- und Videosynthese, leiden jedoch unter langsamer Inferenzgeschwindigkeit. Destillationsmethoden, wie das kürzlich eingeführte adversarielle Diffusionsdestillationsverfahren (ADD), zielen darauf ab, das Modell von einer Mehrschuss- zu einer Einzelschritt-Inferenz zu verschieben, jedoch auf Kosten einer teuren und schwierigen Optimierung aufgrund der Abhängigkeit von einem festen vortrainierten DINOv2-Diskriminator. Wir stellen Latent Adversarial Diffusion Distillation (LADD) vor, einen neuartigen Destillationsansatz, der die Einschränkungen von ADD überwindet. Im Gegensatz zu pixelbasiertem ADD nutzt LADD generative Merkmale aus vortrainierten latenten Diffusionsmodellen. Dieser Ansatz vereinfacht das Training und verbessert die Leistung, ermöglicht die Synthese von hochauflösenden Bildern mit verschiedenen Seitenverhältnissen. Wir wenden LADD auf Stable Diffusion 3 (8B) an, um SD3-Turbo zu erhalten, ein schnelles Modell, das die Leistungsfähigkeit modernster Text-zu-Bild-Generatoren mit nur vier ungesteuerten Abtastschritten erreicht. Darüber hinaus untersuchen wir systematisch sein Skalierungsverhalten und zeigen die Wirksamkeit von LADD in verschiedenen Anwendungen wie Bildbearbeitung und Inpainting auf.

English

Diffusion models are the main driver of progress in image and video synthesis, but suffer from slow inference speed. Distillation methods, like the recently introduced adversarial diffusion distillation (ADD) aim to shift the model from many-shot to single-step inference, albeit at the cost of expensive and difficult optimization due to its reliance on a fixed pretrained DINOv2 discriminator. We introduce Latent Adversarial Diffusion Distillation (LADD), a novel distillation approach overcoming the limitations of ADD. In contrast to pixel-based ADD, LADD utilizes generative features from pretrained latent diffusion models. This approach simplifies training and enhances performance, enabling high-resolution multi-aspect ratio image synthesis. We apply LADD to Stable Diffusion 3 (8B) to obtain SD3-Turbo, a fast model that matches the performance of state-of-the-art text-to-image generators using only four unguided sampling steps. Moreover, we systematically investigate its scaling behavior and demonstrate LADD's effectiveness in various applications such as image editing and inpainting.