SemanticGen: Geração de Vídeo no Espaço Semântico
SemanticGen: Video Generation in Semantic Space
December 23, 2025
Autores: Jianhong Bai, Xiaoshi Wu, Xintao Wang, Fu Xiao, Yuanxing Zhang, Qinghe Wang, Xiaoyu Shi, Menghan Xia, Zuozhu Liu, Haoji Hu, Pengfei Wan, Kun Gai
cs.AI
Resumo
Os modelos generativos de vídeo de última geração normalmente aprendem a distribuição dos latentes de vídeo no espaço VAE e os mapeiam para pixels usando um decodificador VAE. Embora essa abordagem possa gerar vídeos de alta qualidade, ela sofre de convergência lenta e é computacionalmente dispendiosa ao gerar vídeos longos. Neste artigo, introduzimos o SemanticGen, uma solução inovadora para abordar essas limitações através da geração de vídeos no espaço semântico. Nossa principal percepção é que, devido à redundância inerente em vídeos, o processo de geração deve começar em um espaço semântico compacto e de alto nível para planejamento global, seguido pela adição de detalhes de alta frequência, em vez de modelar diretamente um vasto conjunto de tokens de vídeo de baixo nível usando atenção bidirecional. O SemanticGen adota um processo de geração em dois estágios. No primeiro estágio, um modelo de difusão gera características de vídeo semânticas compactas, que definem o layout global do vídeo. No segundo estágio, outro modelo de difusão gera latentes VAE condicionados nessas características semânticas para produzir o resultado final. Observamos que a geração no espaço semântico leva a uma convergência mais rápida em comparação com o espaço latente VAE. Nosso método também é eficaz e computacionalmente eficiente quando estendido para a geração de vídeos longos. Experimentos extensivos demonstram que o SemanticGen produz vídeos de alta qualidade e supera abordagens state-of-the-art e baselines robustas.
English
State-of-the-art video generative models typically learn the distribution of video latents in the VAE space and map them to pixels using a VAE decoder. While this approach can generate high-quality videos, it suffers from slow convergence and is computationally expensive when generating long videos. In this paper, we introduce SemanticGen, a novel solution to address these limitations by generating videos in the semantic space. Our main insight is that, due to the inherent redundancy in videos, the generation process should begin in a compact, high-level semantic space for global planning, followed by the addition of high-frequency details, rather than directly modeling a vast set of low-level video tokens using bi-directional attention. SemanticGen adopts a two-stage generation process. In the first stage, a diffusion model generates compact semantic video features, which define the global layout of the video. In the second stage, another diffusion model generates VAE latents conditioned on these semantic features to produce the final output. We observe that generation in the semantic space leads to faster convergence compared to the VAE latent space. Our method is also effective and computationally efficient when extended to long video generation. Extensive experiments demonstrate that SemanticGen produces high-quality videos and outperforms state-of-the-art approaches and strong baselines.