DC-Gen: Post-Training Diffusieversnelling met Diep Gecomprimeerde Latente Ruimte

Samenvatting

Bestaande tekst-naar-beeld diffusiemodellen blinken uit in het genereren van hoogwaardige afbeeldingen, maar kampen met aanzienlijke efficiëntieproblemen wanneer ze worden opgeschaald naar hoge resoluties, zoals 4K-beeldgeneratie. Hoewel eerder onderzoek diffusiemodellen op verschillende aspecten versnelt, wordt de inherente redundantie binnen de latente ruimte zelden aangepakt. Om deze kloof te overbruggen, introduceert dit artikel DC-Gen, een algemeen framework dat tekst-naar-beeld diffusiemodellen versnelt door gebruik te maken van een diep gecomprimeerde latente ruimte. In plaats van een kostbare training-vanaf-nul benadering, gebruikt DC-Gen een efficiënte post-training pijplijn om de kwaliteit van het basismodel te behouden. Een belangrijke uitdaging in dit paradigma is de representatiekloof tussen de latente ruimte van het basismodel en een diep gecomprimeerde latente ruimte, wat kan leiden tot instabiliteit tijdens directe fine-tuning. Om dit te overwinnen, overbrugt DC-Gen eerst de representatiekloof met een lichtgewicht embedding alignment training. Zodra de latente embeddings zijn uitgelijnd, is slechts een kleine hoeveelheid LoRA fine-tuning nodig om de inherente generatiekwaliteit van het basismodel te ontgrendelen. We verifiëren de effectiviteit van DC-Gen op SANA en FLUX.1-Krea. De resulterende DC-Gen-SANA en DC-Gen-FLUX modellen bereiken een kwaliteit die vergelijkbaar is met hun basismodellen, maar met een aanzienlijke snelheidswinst. Specifiek reduceert DC-Gen-FLUX de latentie van 4K-beeldgeneratie met 53x op de NVIDIA H100 GPU. In combinatie met NVFP4 SVDQuant genereert DC-Gen-FLUX een 4K-afbeelding in slechts 3,5 seconden op een enkele NVIDIA 5090 GPU, wat een totale latentiereductie van 138x oplevert in vergelijking met het basis FLUX.1-Krea model. Code: https://github.com/dc-ai-projects/DC-Gen.

English

Existing text-to-image diffusion models excel at generating high-quality images, but face significant efficiency challenges when scaled to high resolutions, like 4K image generation. While previous research accelerates diffusion models in various aspects, it seldom handles the inherent redundancy within the latent space. To bridge this gap, this paper introduces DC-Gen, a general framework that accelerates text-to-image diffusion models by leveraging a deeply compressed latent space. Rather than a costly training-from-scratch approach, DC-Gen uses an efficient post-training pipeline to preserve the quality of the base model. A key challenge in this paradigm is the representation gap between the base model's latent space and a deeply compressed latent space, which can lead to instability during direct fine-tuning. To overcome this, DC-Gen first bridges the representation gap with a lightweight embedding alignment training. Once the latent embeddings are aligned, only a small amount of LoRA fine-tuning is needed to unlock the base model's inherent generation quality. We verify DC-Gen's effectiveness on SANA and FLUX.1-Krea. The resulting DC-Gen-SANA and DC-Gen-FLUX models achieve quality comparable to their base models but with a significant speedup. Specifically, DC-Gen-FLUX reduces the latency of 4K image generation by 53x on the NVIDIA H100 GPU. When combined with NVFP4 SVDQuant, DC-Gen-FLUX generates a 4K image in just 3.5 seconds on a single NVIDIA 5090 GPU, achieving a total latency reduction of 138x compared to the base FLUX.1-Krea model. Code: https://github.com/dc-ai-projects/DC-Gen.

DC-Gen: Post-Training Diffusieversnelling met Diep Gecomprimeerde Latente Ruimte

DC-Gen: Post-Training Diffusion Acceleration with Deeply Compressed Latent Space

Samenvatting

Support