SDXL-Lightning: Distillazione Adversariale Progressiva per Diffusion

SDXL-Lightning: Progressive Adversarial Diffusion Distillation

February 21, 2024

Autori: Shanchuan Lin, Anran Wang, Xiao Yang

cs.AI

Abstract

Proponiamo un metodo di distillazione diffusa che raggiunge nuovi risultati all'avanguardia nella generazione di immagini da testo in un singolo passaggio/poche iterazioni a risoluzione 1024px basata su SDXL. Il nostro metodo combina distillazione progressiva e avversaria per ottenere un equilibrio tra qualità e copertura modale. In questo articolo, discutiamo l'analisi teorica, la progettazione del discriminatore, la formulazione del modello e le tecniche di addestramento. Rilasciamo come open-source i nostri modelli distillati SDXL-Lightning sia come pesi LoRA che come pesi UNet completi.

English

We propose a diffusion distillation method that achieves new state-of-the-art in one-step/few-step 1024px text-to-image generation based on SDXL. Our method combines progressive and adversarial distillation to achieve a balance between quality and mode coverage. In this paper, we discuss the theoretical analysis, discriminator design, model formulation, and training techniques. We open-source our distilled SDXL-Lightning models both as LoRA and full UNet weights.