Synthèse rapide d'images haute résolution par distillation de diffusion adversariales latentes

Fast High-Resolution Image Synthesis with Latent Adversarial Diffusion Distillation

March 18, 2024

Auteurs: Axel Sauer, Frederic Boesel, Tim Dockhorn, Andreas Blattmann, Patrick Esser, Robin Rombach

cs.AI

Résumé

Les modèles de diffusion sont le principal moteur de progrès dans la synthèse d'images et de vidéos, mais souffrent d'une vitesse d'inférence lente. Les méthodes de distillation, comme la récente distillation de diffusion adversarial (ADD), visent à faire passer le modèle d'une inférence en plusieurs étapes à une inférence en une seule étape, bien qu'au prix d'une optimisation coûteuse et difficile en raison de sa dépendance à un discriminateur DINOv2 prétraîné et fixe. Nous introduisons la Distillation de Diffusion Adversarial Latente (LADD), une nouvelle approche de distillation qui surmonte les limitations de l'ADD. Contrairement à l'ADD basée sur les pixels, LADD utilise des caractéristiques génératives issues de modèles de diffusion latente prétraînés. Cette approche simplifie l'entraînement et améliore les performances, permettant une synthèse d'images haute résolution avec des ratios d'aspect multiples. Nous appliquons LADD à Stable Diffusion 3 (8B) pour obtenir SD3-Turbo, un modèle rapide qui rivalise avec les performances des meilleurs générateurs texte-image en utilisant seulement quatre étapes d'échantillonnage non guidées. De plus, nous étudions systématiquement son comportement de mise à l'échelle et démontrons l'efficacité de LADD dans diverses applications telles que l'édition d'images et l'inpainting.

English

Diffusion models are the main driver of progress in image and video synthesis, but suffer from slow inference speed. Distillation methods, like the recently introduced adversarial diffusion distillation (ADD) aim to shift the model from many-shot to single-step inference, albeit at the cost of expensive and difficult optimization due to its reliance on a fixed pretrained DINOv2 discriminator. We introduce Latent Adversarial Diffusion Distillation (LADD), a novel distillation approach overcoming the limitations of ADD. In contrast to pixel-based ADD, LADD utilizes generative features from pretrained latent diffusion models. This approach simplifies training and enhances performance, enabling high-resolution multi-aspect ratio image synthesis. We apply LADD to Stable Diffusion 3 (8B) to obtain SD3-Turbo, a fast model that matches the performance of state-of-the-art text-to-image generators using only four unguided sampling steps. Moreover, we systematically investigate its scaling behavior and demonstrate LADD's effectiveness in various applications such as image editing and inpainting.