SDXL-Lightning: Прогрессивное адверсариальное диффузионное дистилляционное обучение
SDXL-Lightning: Progressive Adversarial Diffusion Distillation
February 21, 2024
Авторы: Shanchuan Lin, Anran Wang, Xiao Yang
cs.AI
Аннотация
Мы предлагаем метод диффузионной дистилляции, который устанавливает новый эталон в одношаговой/малошаговой генерации изображений с разрешением 1024 пикселя на основе SDXL. Наш метод сочетает прогрессивную и состязательную дистилляцию для достижения баланса между качеством и охватом мод. В данной статье мы обсуждаем теоретический анализ, проектирование дискриминатора, формулировку модели и методы обучения. Мы открываем исходный код наших дистиллированных моделей SDXL-Lightning как в виде LoRA, так и в виде полных весов UNet.
English
We propose a diffusion distillation method that achieves new state-of-the-art
in one-step/few-step 1024px text-to-image generation based on SDXL. Our method
combines progressive and adversarial distillation to achieve a balance between
quality and mode coverage. In this paper, we discuss the theoretical analysis,
discriminator design, model formulation, and training techniques. We
open-source our distilled SDXL-Lightning models both as LoRA and full UNet
weights.