SDXL-Lightning : Distillation Diffusion Adversaire Progressive

SDXL-Lightning: Progressive Adversarial Diffusion Distillation

February 21, 2024

Auteurs: Shanchuan Lin, Anran Wang, Xiao Yang

cs.AI

Résumé

Nous proposons une méthode de distillation par diffusion qui établit un nouvel état de l'art dans la génération d'images texte-à-image en une étape/quelques étapes à 1024px basée sur SDXL. Notre méthode combine la distillation progressive et la distillation adversarial pour atteindre un équilibre entre qualité et couverture des modes. Dans cet article, nous discutons de l'analyse théorique, de la conception du discriminateur, de la formulation du modèle et des techniques d'entraînement. Nous rendons publics nos modèles SDXL-Lightning distillés, à la fois sous forme de poids LoRA et de poids complets UNet.

English

We propose a diffusion distillation method that achieves new state-of-the-art in one-step/few-step 1024px text-to-image generation based on SDXL. Our method combines progressive and adversarial distillation to achieve a balance between quality and mode coverage. In this paper, we discuss the theoretical analysis, discriminator design, model formulation, and training techniques. We open-source our distilled SDXL-Lightning models both as LoRA and full UNet weights.