DC-Gen: Aceleração de Difusão Pós-Treinamento com Espaço Latente Profundamente Comprimido

Resumo

Os modelos de difusão texto-imagem existentes se destacam na geração de imagens de alta qualidade, mas enfrentam desafios significativos de eficiência quando escalonados para resoluções elevadas, como a geração de imagens em 4K. Embora pesquisas anteriores acelerem modelos de difusão em vários aspectos, raramente lidam com a redundância inerente ao espaço latente. Para preencher essa lacuna, este artigo introduz o DC-Gen, um framework geral que acelera modelos de difusão texto-imagem ao aproveitar um espaço latente profundamente comprimido. Em vez de uma abordagem custosa de treinamento do zero, o DC-Gen utiliza um pipeline eficiente de pós-treinamento para preservar a qualidade do modelo base. Um desafio central nesse paradigma é a lacuna de representação entre o espaço latente do modelo base e um espaço latente profundamente comprimido, o que pode levar à instabilidade durante o ajuste fino direto. Para superar isso, o DC-Gen primeiro preenche a lacuna de representação com um treinamento leve de alinhamento de embeddings. Uma vez que os embeddings latentes estão alinhados, apenas uma pequena quantidade de ajuste fino com LoRA é necessária para desbloquear a qualidade de geração inerente do modelo base. Verificamos a eficácia do DC-Gen no SANA e no FLUX.1-Krea. Os modelos resultantes, DC-Gen-SANA e DC-Gen-FLUX, alcançam qualidade comparável aos seus modelos base, mas com um ganho significativo de velocidade. Especificamente, o DC-Gen-FLUX reduz a latência na geração de imagens 4K em 53x na GPU NVIDIA H100. Quando combinado com o NVFP4 SVDQuant, o DC-Gen-FLUX gera uma imagem 4K em apenas 3,5 segundos em uma única GPU NVIDIA 5090, alcançando uma redução total de latência de 138x em comparação ao modelo base FLUX.1-Krea. Código: https://github.com/dc-ai-projects/DC-Gen.

English

Existing text-to-image diffusion models excel at generating high-quality images, but face significant efficiency challenges when scaled to high resolutions, like 4K image generation. While previous research accelerates diffusion models in various aspects, it seldom handles the inherent redundancy within the latent space. To bridge this gap, this paper introduces DC-Gen, a general framework that accelerates text-to-image diffusion models by leveraging a deeply compressed latent space. Rather than a costly training-from-scratch approach, DC-Gen uses an efficient post-training pipeline to preserve the quality of the base model. A key challenge in this paradigm is the representation gap between the base model's latent space and a deeply compressed latent space, which can lead to instability during direct fine-tuning. To overcome this, DC-Gen first bridges the representation gap with a lightweight embedding alignment training. Once the latent embeddings are aligned, only a small amount of LoRA fine-tuning is needed to unlock the base model's inherent generation quality. We verify DC-Gen's effectiveness on SANA and FLUX.1-Krea. The resulting DC-Gen-SANA and DC-Gen-FLUX models achieve quality comparable to their base models but with a significant speedup. Specifically, DC-Gen-FLUX reduces the latency of 4K image generation by 53x on the NVIDIA H100 GPU. When combined with NVFP4 SVDQuant, DC-Gen-FLUX generates a 4K image in just 3.5 seconds on a single NVIDIA 5090 GPU, achieving a total latency reduction of 138x compared to the base FLUX.1-Krea model. Code: https://github.com/dc-ai-projects/DC-Gen.

DC-Gen: Aceleração de Difusão Pós-Treinamento com Espaço Latente Profundamente Comprimido

DC-Gen: Post-Training Diffusion Acceleration with Deeply Compressed Latent Space

Resumo

Support