SemanticGen: Генерация видео в семантическом пространстве
SemanticGen: Video Generation in Semantic Space
December 23, 2025
Авторы: Jianhong Bai, Xiaoshi Wu, Xintao Wang, Fu Xiao, Yuanxing Zhang, Qinghe Wang, Xiaoyu Shi, Menghan Xia, Zuozhu Liu, Haoji Hu, Pengfei Wan, Kun Gai
cs.AI
Аннотация
Современные модели генерации видео обычно изучают распределение латентных переменных видео в пространстве VAE и преобразуют их в пиксели с помощью VAE-декодера. Хотя этот подход позволяет генерировать видео высокого качества, он отличается медленной сходимостью и вычислительной затратностью при создании длинных видео. В данной статье мы представляем SemanticGen — новое решение, которое устраняет эти ограничения за счёт генерации видео в семантическом пространстве. Наше ключевое наблюдение заключается в том, что из-за присущей видео избыточности процесс генерации должен начинаться в компактном семантическом пространстве высокого уровня для глобального планирования с последующим добавлением высокочастотных деталей, а не с прямого моделирования обширного набора низкоуровневых видео-токенов с помощью двунаправленного внимания. SemanticGen использует двухэтапный процесс генерации. На первом этапе диффузионная модель генерирует компактные семантические признаки видео, определяющие глобальную структуру видео. На втором этапе другая диффузионная модель генерирует VAE-латентные переменные, обусловленные этими семантическими признаками, для получения конечного результата. Мы наблюдаем, что генерация в семантическом пространстве обеспечивает более быструю сходимость по сравнению с латентным пространством VAE. Наш метод также эффективен и вычислительно экономичен при масштабировании на генерацию длинных видео. Многочисленные эксперименты демонстрируют, что SemanticGen производит видео высокого качества и превосходит современные подходы и сильные базовые методы.
English
State-of-the-art video generative models typically learn the distribution of video latents in the VAE space and map them to pixels using a VAE decoder. While this approach can generate high-quality videos, it suffers from slow convergence and is computationally expensive when generating long videos. In this paper, we introduce SemanticGen, a novel solution to address these limitations by generating videos in the semantic space. Our main insight is that, due to the inherent redundancy in videos, the generation process should begin in a compact, high-level semantic space for global planning, followed by the addition of high-frequency details, rather than directly modeling a vast set of low-level video tokens using bi-directional attention. SemanticGen adopts a two-stage generation process. In the first stage, a diffusion model generates compact semantic video features, which define the global layout of the video. In the second stage, another diffusion model generates VAE latents conditioned on these semantic features to produce the final output. We observe that generation in the semantic space leads to faster convergence compared to the VAE latent space. Our method is also effective and computationally efficient when extended to long video generation. Extensive experiments demonstrate that SemanticGen produces high-quality videos and outperforms state-of-the-art approaches and strong baselines.