SemanticGen: Generazione Video nello Spazio Semantico
SemanticGen: Video Generation in Semantic Space
December 23, 2025
Autori: Jianhong Bai, Xiaoshi Wu, Xintao Wang, Fu Xiao, Yuanxing Zhang, Qinghe Wang, Xiaoyu Shi, Menghan Xia, Zuozhu Liu, Haoji Hu, Pengfei Wan, Kun Gai
cs.AI
Abstract
I modelli generativi video all'avanguardia apprendono tipicamente la distribuzione dei latenti video nello spazio VAE e li mappano ai pixel utilizzando un decodificatore VAE. Sebbene questo approccio possa generare video di alta qualità, soffre di una lenta convergenza ed è computazionalmente costoso nella generazione di video lunghi. In questo articolo, introduciamo SemanticGen, una soluzione innovativa per affrontare queste limitazioni generando video nello spazio semantico. La nostra intuizione principale è che, a causa della ridondanza intrinseca dei video, il processo di generazione dovrebbe iniziare in uno spazio semantico compatto di alto livello per la pianificazione globale, seguito dall'aggiunta di dettagli ad alta frequenza, piuttosto che modellare direttamente un vasto insieme di token video di basso livello utilizzando l'attenzione bidirezionale. SemanticGen adotta un processo di generazione a due stadi. Nella prima fase, un modello di diffusione genera caratteristiche video semantiche compatte, che definiscono il layout globale del video. Nella seconda fase, un altro modello di diffusione genera i latenti VAE condizionati da queste caratteristiche semantiche per produrre l'output finale. Osserviamo che la generazione nello spazio semantico porta a una convergenza più rapida rispetto allo spazio latente VAE. Il nostro metodo è anche efficace e computazionalmente efficiente quando esteso alla generazione di video lunghi. Esperimenti estesi dimostrano che SemanticGen produce video di alta qualità e supera gli approcci all'avanguardia e baseline solide.
English
State-of-the-art video generative models typically learn the distribution of video latents in the VAE space and map them to pixels using a VAE decoder. While this approach can generate high-quality videos, it suffers from slow convergence and is computationally expensive when generating long videos. In this paper, we introduce SemanticGen, a novel solution to address these limitations by generating videos in the semantic space. Our main insight is that, due to the inherent redundancy in videos, the generation process should begin in a compact, high-level semantic space for global planning, followed by the addition of high-frequency details, rather than directly modeling a vast set of low-level video tokens using bi-directional attention. SemanticGen adopts a two-stage generation process. In the first stage, a diffusion model generates compact semantic video features, which define the global layout of the video. In the second stage, another diffusion model generates VAE latents conditioned on these semantic features to produce the final output. We observe that generation in the semantic space leads to faster convergence compared to the VAE latent space. Our method is also effective and computationally efficient when extended to long video generation. Extensive experiments demonstrate that SemanticGen produces high-quality videos and outperforms state-of-the-art approaches and strong baselines.