SDXL-Lightning: Progressive Adversarische Diffusionsdestillation

SDXL-Lightning: Progressive Adversarial Diffusion Distillation

February 21, 2024

Autoren: Shanchuan Lin, Anran Wang, Xiao Yang

cs.AI

Zusammenfassung

Wir schlagen eine Diffusionsdestillationsmethode vor, die einen neuen Stand der Technik in der Ein-Schritt/Wenige-Schritte-Text-zu-Bild-Generierung bei 1024px auf Basis von SDXL erreicht. Unsere Methode kombiniert progressive und adversarische Destillation, um ein Gleichgewicht zwischen Qualität und Modusabdeckung zu erreichen. In diesem Artikel diskutieren wir die theoretische Analyse, das Diskriminator-Design, die Modellformulierung und die Trainingsmethoden. Wir stellen unsere destillierten SDXL-Lightning-Modelle sowohl als LoRA als auch als vollständige UNet-Gewichte als Open Source zur Verfügung.

English

We propose a diffusion distillation method that achieves new state-of-the-art in one-step/few-step 1024px text-to-image generation based on SDXL. Our method combines progressive and adversarial distillation to achieve a balance between quality and mode coverage. In this paper, we discuss the theoretical analysis, discriminator design, model formulation, and training techniques. We open-source our distilled SDXL-Lightning models both as LoRA and full UNet weights.