SemanticGen: Generación de Vídeo en el Espacio Semántico
SemanticGen: Video Generation in Semantic Space
December 23, 2025
Autores: Jianhong Bai, Xiaoshi Wu, Xintao Wang, Fu Xiao, Yuanxing Zhang, Qinghe Wang, Xiaoyu Shi, Menghan Xia, Zuozhu Liu, Haoji Hu, Pengfei Wan, Kun Gai
cs.AI
Resumen
Los modelos generativos de video de última generación suelen aprender la distribución de latentes de video en el espacio VAE y mapearlos a píxeles mediante un decodificador VAE. Si bien este enfoque puede generar videos de alta calidad, adolece de una convergencia lenta y resulta computacionalmente costoso al generar videos largos. En este artículo, presentamos SemanticGen, una solución novedosa para abordar estas limitaciones mediante la generación de videos en el espacio semántico. Nuestra principal intuición es que, debido a la redundancia inherente en los videos, el proceso de generación debería comenzar en un espacio semántico compacto y de alto nivel para la planificación global, seguido de la adición de detalles de alta frecuencia, en lugar de modelar directamente un vasto conjunto de tokens de video de bajo nivel utilizando atención bidireccional. SemanticGen adopta un proceso de generación en dos etapas. En la primera etapa, un modelo de difusión genera características de video semánticas compactas, que definen el diseño global del video. En la segunda etapa, otro modelo de difusión genera latentes VAE condicionados por estas características semánticas para producir el resultado final. Observamos que la generación en el espacio semántico conduce a una convergencia más rápida en comparación con el espacio latente VAE. Nuestro método también es efectivo y computacionalmente eficiente cuando se extiende a la generación de videos largos. Experimentos exhaustivos demuestran que SemanticGen produce videos de alta calidad y supera a los enfoques de última generación y líneas base sólidas.
English
State-of-the-art video generative models typically learn the distribution of video latents in the VAE space and map them to pixels using a VAE decoder. While this approach can generate high-quality videos, it suffers from slow convergence and is computationally expensive when generating long videos. In this paper, we introduce SemanticGen, a novel solution to address these limitations by generating videos in the semantic space. Our main insight is that, due to the inherent redundancy in videos, the generation process should begin in a compact, high-level semantic space for global planning, followed by the addition of high-frequency details, rather than directly modeling a vast set of low-level video tokens using bi-directional attention. SemanticGen adopts a two-stage generation process. In the first stage, a diffusion model generates compact semantic video features, which define the global layout of the video. In the second stage, another diffusion model generates VAE latents conditioned on these semantic features to produce the final output. We observe that generation in the semantic space leads to faster convergence compared to the VAE latent space. Our method is also effective and computationally efficient when extended to long video generation. Extensive experiments demonstrate that SemanticGen produces high-quality videos and outperforms state-of-the-art approaches and strong baselines.