Sintesi Rapida di Immagini ad Alta Risoluzione con Distillazione di Diffusioni Adversarial Latenti

Fast High-Resolution Image Synthesis with Latent Adversarial Diffusion Distillation

March 18, 2024

Autori: Axel Sauer, Frederic Boesel, Tim Dockhorn, Andreas Blattmann, Patrick Esser, Robin Rombach

cs.AI

Abstract

I modelli di diffusione sono i principali motori del progresso nella sintesi di immagini e video, ma soffrono di una velocità di inferenza lenta. I metodi di distillazione, come il recentemente introdotto adversarial diffusion distillation (ADD), mirano a spostare il modello da un'inferenza a molti passaggi a una a singolo passaggio, sebbene a costo di un'ottimizzazione costosa e difficile a causa della sua dipendenza da un discriminatore DINOv2 pre-addestrato e fisso. Introduciamo il Latent Adversarial Diffusion Distillation (LADD), un nuovo approccio di distillazione che supera i limiti dell'ADD. A differenza dell'ADD basato sui pixel, LADD utilizza caratteristiche generative da modelli di diffusione latente pre-addestrati. Questo approccio semplifica l'addestramento e migliora le prestazioni, consentendo la sintesi di immagini ad alta risoluzione con rapporti d'aspetto multipli. Applichiamo LADD a Stable Diffusion 3 (8B) per ottenere SD3-Turbo, un modello veloce che eguaglia le prestazioni dei migliori generatori testo-immagine utilizzando solo quattro passaggi di campionamento non guidati. Inoltre, investigiamo sistematicamente il suo comportamento di scalabilità e dimostriamo l'efficacia di LADD in varie applicazioni come l'editing e l'inpainting di immagini.

English

Diffusion models are the main driver of progress in image and video synthesis, but suffer from slow inference speed. Distillation methods, like the recently introduced adversarial diffusion distillation (ADD) aim to shift the model from many-shot to single-step inference, albeit at the cost of expensive and difficult optimization due to its reliance on a fixed pretrained DINOv2 discriminator. We introduce Latent Adversarial Diffusion Distillation (LADD), a novel distillation approach overcoming the limitations of ADD. In contrast to pixel-based ADD, LADD utilizes generative features from pretrained latent diffusion models. This approach simplifies training and enhances performance, enabling high-resolution multi-aspect ratio image synthesis. We apply LADD to Stable Diffusion 3 (8B) to obtain SD3-Turbo, a fast model that matches the performance of state-of-the-art text-to-image generators using only four unguided sampling steps. Moreover, we systematically investigate its scaling behavior and demonstrate LADD's effectiveness in various applications such as image editing and inpainting.