SemanticGen: Videogeneratie in Semantische Ruimte
SemanticGen: Video Generation in Semantic Space
December 23, 2025
Auteurs: Jianhong Bai, Xiaoshi Wu, Xintao Wang, Fu Xiao, Yuanxing Zhang, Qinghe Wang, Xiaoyu Shi, Menghan Xia, Zuozhu Liu, Haoji Hu, Pengfei Wan, Kun Gai
cs.AI
Samenvatting
State-of-the-art videogeneratieve modellen leren typisch de verdeling van videolatenten in de VAE-ruimte en zetten deze om naar pixels met behulp van een VAE-decoder. Hoewel deze aanpak hoogwaardige video's kan genereren, lijdt ze onder trage convergentie en is ze rekenkundig kostbaar bij het genereren van lange video's. In dit artikel introduceren we SemanticGen, een nieuwe oplossing om deze beperkingen aan te pakken door video's in de semantische ruimte te genereren. Onze belangrijkste inzicht is dat, vanwege de inherente redundantie in video's, het generatieproces zou moeten beginnen in een compacte, hoogwaardige semantische ruimte voor globale planning, gevolgd door de toevoeging van hoogfrequente details, in plaats van direct een grote set laagwaardige videotokens te modelleren met behulp van bi-directionele aandacht. SemanticGen hanteert een tweestaps generatieproces. In de eerste fase genereert een diffusiemodel compacte semantische videokenmerken, die de globale lay-out van de video bepalen. In de tweede fase genereert een andere diffusiemodel VAE-latenten, geconditioneerd op deze semantische kenmerken, om de uiteindelijke output te produceren. Wij observeren dat generatie in de semantische ruimte leidt tot snellere convergentie in vergelijking met de VAE-latente ruimte. Onze methode is ook effectief en rekenkundig efficiënt wanneer uitgebreid naar lange videogeneratie. Uitgebreide experimenten tonen aan dat SemanticGen hoogwaardige video's produceert en state-of-the-art benaderingen en sterke baseline-modellen overtreft.
English
State-of-the-art video generative models typically learn the distribution of video latents in the VAE space and map them to pixels using a VAE decoder. While this approach can generate high-quality videos, it suffers from slow convergence and is computationally expensive when generating long videos. In this paper, we introduce SemanticGen, a novel solution to address these limitations by generating videos in the semantic space. Our main insight is that, due to the inherent redundancy in videos, the generation process should begin in a compact, high-level semantic space for global planning, followed by the addition of high-frequency details, rather than directly modeling a vast set of low-level video tokens using bi-directional attention. SemanticGen adopts a two-stage generation process. In the first stage, a diffusion model generates compact semantic video features, which define the global layout of the video. In the second stage, another diffusion model generates VAE latents conditioned on these semantic features to produce the final output. We observe that generation in the semantic space leads to faster convergence compared to the VAE latent space. Our method is also effective and computationally efficient when extended to long video generation. Extensive experiments demonstrate that SemanticGen produces high-quality videos and outperforms state-of-the-art approaches and strong baselines.