SemanticGen: Videogenerierung im semantischen Raum
SemanticGen: Video Generation in Semantic Space
December 23, 2025
papers.authors: Jianhong Bai, Xiaoshi Wu, Xintao Wang, Fu Xiao, Yuanxing Zhang, Qinghe Wang, Xiaoyu Shi, Menghan Xia, Zuozhu Liu, Haoji Hu, Pengfei Wan, Kun Gai
cs.AI
papers.abstract
Aktuelle State-of-the-Art-Videogenerierungsmodelle lernen typischerweise die Verteilung von Video-Latents im VAE-Raum und bilden diese mittels eines VAE-Decoders auf Pixel ab. Obwohl dieser Ansatz hochwertige Videos erzeugen kann, leidet er unter langsamer Konvergenz und ist rechenintensiv bei der Generierung langer Videos. In diesem Beitrag stellen wir SemanticGen vor, eine neuartige Lösung zur Bewältigung dieser Einschränkungen durch Generierung von Videos im semantischen Raum. Unsere zentrale Erkenntnis ist, dass aufgrund der inhärenten Redundanz in Videos der Generierungsprozess in einem kompakten, hochleveligen semantischen Raum zur globalen Planung beginnen sollte, gefolgt von der Hinzufügung hochfrequenter Details, anstatt direkt eine große Menge niederleveliger Video-Tokens mit bidirektionaler Aufmerksamkeit zu modellieren. SemanticGen verwendet einen zweistufigen Generierungsprozess. In der ersten Stufe erzeugt ein Diffusionsmodell kompakte semantische Videomerkmale, die das globale Layout des Videos definieren. In der zweiten Stufe generiert ein weiteres Diffusionsmodell VAE-Latents, die auf diesen semantischen Merkmalen konditioniert sind, um die endgültige Ausgabe zu erzeugen. Wir beobachten, dass die Generierung im semantischen Raum im Vergleich zum VAE-Latentraum zu schnellerer Konvergenz führt. Unsere Methode ist auch effektiv und recheneffizient bei der Erweiterung auf die Langvideogenerierung. Umfangreiche Experimente belegen, dass SemanticGen hochwertige Videos erzeugt und State-of-the-Art-Ansätze sowie starke Baselines übertrifft.
English
State-of-the-art video generative models typically learn the distribution of video latents in the VAE space and map them to pixels using a VAE decoder. While this approach can generate high-quality videos, it suffers from slow convergence and is computationally expensive when generating long videos. In this paper, we introduce SemanticGen, a novel solution to address these limitations by generating videos in the semantic space. Our main insight is that, due to the inherent redundancy in videos, the generation process should begin in a compact, high-level semantic space for global planning, followed by the addition of high-frequency details, rather than directly modeling a vast set of low-level video tokens using bi-directional attention. SemanticGen adopts a two-stage generation process. In the first stage, a diffusion model generates compact semantic video features, which define the global layout of the video. In the second stage, another diffusion model generates VAE latents conditioned on these semantic features to produce the final output. We observe that generation in the semantic space leads to faster convergence compared to the VAE latent space. Our method is also effective and computationally efficient when extended to long video generation. Extensive experiments demonstrate that SemanticGen produces high-quality videos and outperforms state-of-the-art approaches and strong baselines.