SDXL-Lightning: Distorsión Adversarial Progresiva de Difusión

SDXL-Lightning: Progressive Adversarial Diffusion Distillation

February 21, 2024

Autores: Shanchuan Lin, Anran Wang, Xiao Yang

cs.AI

Resumen

Proponemos un método de destilación por difusión que establece un nuevo estado del arte en la generación de imágenes de texto a imagen en un paso/pocos pasos a 1024px basado en SDXL. Nuestro método combina destilación progresiva y adversaria para lograr un equilibrio entre calidad y cobertura de modos. En este artículo, discutimos el análisis teórico, el diseño del discriminador, la formulación del modelo y las técnicas de entrenamiento. Liberamos nuestros modelos destilados SDXL-Lightning tanto como LoRA como pesos completos de UNet.

English

We propose a diffusion distillation method that achieves new state-of-the-art in one-step/few-step 1024px text-to-image generation based on SDXL. Our method combines progressive and adversarial distillation to achieve a balance between quality and mode coverage. In this paper, we discuss the theoretical analysis, discriminator design, model formulation, and training techniques. We open-source our distilled SDXL-Lightning models both as LoRA and full UNet weights.