SDXL-Lightning: Distilação Progressiva de Difusão Adversarial

SDXL-Lightning: Progressive Adversarial Diffusion Distillation

February 21, 2024

Autores: Shanchuan Lin, Anran Wang, Xiao Yang

cs.AI

Resumo

Propomos um método de destilação por difusão que alcança um novo estado da arte na geração de imagens a partir de texto em uma etapa/poucas etapas com resolução de 1024px baseado no SDXL. Nosso método combina destilação progressiva e adversária para alcançar um equilíbrio entre qualidade e cobertura de modos. Neste artigo, discutimos a análise teórica, o design do discriminador, a formulação do modelo e as técnicas de treinamento. Disponibilizamos nossos modelos destilados SDXL-Lightning como código aberto, tanto como pesos LoRA quanto como pesos completos da UNet.

English

We propose a diffusion distillation method that achieves new state-of-the-art in one-step/few-step 1024px text-to-image generation based on SDXL. Our method combines progressive and adversarial distillation to achieve a balance between quality and mode coverage. In this paper, we discuss the theoretical analysis, discriminator design, model formulation, and training techniques. We open-source our distilled SDXL-Lightning models both as LoRA and full UNet weights.