DC-VideoGen: Geração Eficiente de Vídeos com Autoencoder de Vídeo de Compressão Profunda

DC-VideoGen: Efficient Video Generation with Deep Compression Video Autoencoder

September 29, 2025

Autores: Junyu Chen, Wenkun He, Yuchao Gu, Yuyang Zhao, Jincheng Yu, Junsong Chen, Dongyun Zou, Yujun Lin, Zhekai Zhang, Muyang Li, Haocheng Xi, Ligeng Zhu, Enze Xie, Song Han, Han Cai

cs.AI

Resumo

Apresentamos o DC-VideoGen, uma estrutura de aceleração pós-treinamento para geração eficiente de vídeos. O DC-VideoGen pode ser aplicado a qualquer modelo de difusão de vídeo pré-treinado, melhorando a eficiência ao adaptá-lo a um espaço latente de compressão profunda com ajuste fino leve. A estrutura é baseada em duas inovações principais: (i) um Autoencoder de Vídeo com Compressão Profunda, com um novo design temporal chunk-causal que alcança compressão espacial de 32x/64x e temporal de 4x, mantendo a qualidade de reconstrução e a generalização para vídeos mais longos; e (ii) AE-Adapt-V, uma estratégia de adaptação robusta que permite a transferência rápida e estável de modelos pré-treinados para o novo espaço latente. A adaptação do modelo Wan-2.1-14B pré-treinado com o DC-VideoGen requer apenas 10 dias de GPU no NVIDIA H100. Os modelos acelerados alcançam uma latência de inferência até 14,8x menor do que suas contrapartes base, sem comprometer a qualidade, e ainda permitem a geração de vídeos em 2160x3840 em uma única GPU. Código: https://github.com/dc-ai-projects/DC-VideoGen.

English

We introduce DC-VideoGen, a post-training acceleration framework for efficient video generation. DC-VideoGen can be applied to any pre-trained video diffusion model, improving efficiency by adapting it to a deep compression latent space with lightweight fine-tuning. The framework builds on two key innovations: (i) a Deep Compression Video Autoencoder with a novel chunk-causal temporal design that achieves 32x/64x spatial and 4x temporal compression while preserving reconstruction quality and generalization to longer videos; and (ii) AE-Adapt-V, a robust adaptation strategy that enables rapid and stable transfer of pre-trained models into the new latent space. Adapting the pre-trained Wan-2.1-14B model with DC-VideoGen requires only 10 GPU days on the NVIDIA H100 GPU. The accelerated models achieve up to 14.8x lower inference latency than their base counterparts without compromising quality, and further enable 2160x3840 video generation on a single GPU. Code: https://github.com/dc-ai-projects/DC-VideoGen.