DC-Gen: Ускорение диффузии после обучения с использованием глубоко сжатого латентного пространства

Аннотация

Существующие диффузионные модели для генерации изображений по тексту демонстрируют выдающееся качество изображений, однако сталкиваются с серьезными проблемами эффективности при масштабировании до высоких разрешений, таких как генерация 4K. Хотя предыдущие исследования ускоряют диффузионные модели в различных аспектах, они редко учитывают внутреннюю избыточность в латентном пространстве. Чтобы устранить этот пробел, в данной статье представлен DC-Gen — универсальный фреймворк, который ускоряет текстово-изобразительные диффузионные модели за счет использования глубоко сжатого латентного пространства. Вместо затратного подхода с обучением с нуля DC-Gen использует эффективный посттренировочный конвейер для сохранения качества базовой модели. Ключевой проблемой в этой парадигме является разрыв в представлении между латентным пространством базовой модели и глубоко сжатым латентным пространством, что может привести к нестабильности при прямой тонкой настройке. Для преодоления этого DC-Gen сначала устраняет разрыв в представлении с помощью легковесного обучения выравнивания эмбеддингов. После выравнивания латентных эмбеддингов требуется лишь небольшая тонкая настройка с использованием LoRA, чтобы раскрыть внутреннее качество генерации базовой модели. Мы подтверждаем эффективность DC-Gen на моделях SANA и FLUX.1-Krea. Полученные модели DC-Gen-SANA и DC-Gen-FLUX достигают качества, сопоставимого с их базовыми моделями, но с значительным ускорением. В частности, DC-Gen-FLUX сокращает задержку генерации изображений 4K в 53 раза на GPU NVIDIA H100. В сочетании с NVFP4 SVDQuant DC-Gen-FLUX генерирует изображение 4K всего за 3,5 секунды на одном GPU NVIDIA 5090, достигая общего сокращения задержки в 138 раз по сравнению с базовой моделью FLUX.1-Krea. Код: https://github.com/dc-ai-projects/DC-Gen.

English

Existing text-to-image diffusion models excel at generating high-quality images, but face significant efficiency challenges when scaled to high resolutions, like 4K image generation. While previous research accelerates diffusion models in various aspects, it seldom handles the inherent redundancy within the latent space. To bridge this gap, this paper introduces DC-Gen, a general framework that accelerates text-to-image diffusion models by leveraging a deeply compressed latent space. Rather than a costly training-from-scratch approach, DC-Gen uses an efficient post-training pipeline to preserve the quality of the base model. A key challenge in this paradigm is the representation gap between the base model's latent space and a deeply compressed latent space, which can lead to instability during direct fine-tuning. To overcome this, DC-Gen first bridges the representation gap with a lightweight embedding alignment training. Once the latent embeddings are aligned, only a small amount of LoRA fine-tuning is needed to unlock the base model's inherent generation quality. We verify DC-Gen's effectiveness on SANA and FLUX.1-Krea. The resulting DC-Gen-SANA and DC-Gen-FLUX models achieve quality comparable to their base models but with a significant speedup. Specifically, DC-Gen-FLUX reduces the latency of 4K image generation by 53x on the NVIDIA H100 GPU. When combined with NVFP4 SVDQuant, DC-Gen-FLUX generates a 4K image in just 3.5 seconds on a single NVIDIA 5090 GPU, achieving a total latency reduction of 138x compared to the base FLUX.1-Krea model. Code: https://github.com/dc-ai-projects/DC-Gen.

DC-Gen: Ускорение диффузии после обучения с использованием глубоко сжатого латентного пространства

DC-Gen: Post-Training Diffusion Acceleration with Deeply Compressed Latent Space

Аннотация

Support