Hierarchische räumlich-zeitliche Entkopplung für die Text-zu-Video-Generierung

Hierarchical Spatio-temporal Decoupling for Text-to-Video Generation

December 7, 2023

Autoren: Zhiwu Qing, Shiwei Zhang, Jiayu Wang, Xiang Wang, Yujie Wei, Yingya Zhang, Changxin Gao, Nong Sang

cs.AI

Zusammenfassung

Obwohl Diffusionsmodelle bereits beeindruckende Fähigkeiten bei der Erzeugung fotorealistischer Bilder gezeigt haben, befindet sich die Generierung realistischer und vielfältiger Videos noch in den Kinderschuhen. Ein Hauptgrund dafür ist, dass aktuelle Methoden räumliche Inhalte und zeitliche Dynamik miteinander verknüpfen, was die Komplexität der Text-zu-Video-Generierung (T2V) erheblich erhöht. In dieser Arbeit stellen wir HiGen vor, eine auf Diffusionsmodellen basierende Methode, die die Leistung verbessert, indem sie die räumlichen und zeitlichen Faktoren von Videos aus zwei Perspektiven entkoppelt: auf der Strukturebene und der Inhaltsebene. Auf der Strukturebene zerlegen wir die T2V-Aufgabe in zwei Schritte, einschließlich räumlicher und zeitlicher Schlussfolgerung, unter Verwendung eines einheitlichen Denoisers. Konkret generieren wir während der räumlichen Schlussfolgerung räumlich kohärente Vorinformationen mithilfe von Text und erzeugen dann während der zeitlichen Schlussfolgerung zeitlich kohärente Bewegungen aus diesen Vorinformationen. Auf der Inhaltsebene extrahieren wir zwei subtile Hinweise aus dem Inhalt des Eingabevideos, die jeweils Bewegungs- und Erscheinungsänderungen ausdrücken können. Diese beiden Hinweise leiten dann das Training des Modells zur Videogenerierung, was flexible Inhaltsvariationen ermöglicht und die zeitliche Stabilität verbessert. Durch das entkoppelte Paradigma kann HiGen die Komplexität dieser Aufgabe effektiv reduzieren und realistische Videos mit semantischer Genauigkeit und Bewegungsstabilität erzeugen. Umfangreiche Experimente demonstrieren die überlegene Leistung von HiGen im Vergleich zu den aktuellsten T2V-Methoden.

English

Despite diffusion models having shown powerful abilities to generate photorealistic images, generating videos that are realistic and diverse still remains in its infancy. One of the key reasons is that current methods intertwine spatial content and temporal dynamics together, leading to a notably increased complexity of text-to-video generation (T2V). In this work, we propose HiGen, a diffusion model-based method that improves performance by decoupling the spatial and temporal factors of videos from two perspectives, i.e., structure level and content level. At the structure level, we decompose the T2V task into two steps, including spatial reasoning and temporal reasoning, using a unified denoiser. Specifically, we generate spatially coherent priors using text during spatial reasoning and then generate temporally coherent motions from these priors during temporal reasoning. At the content level, we extract two subtle cues from the content of the input video that can express motion and appearance changes, respectively. These two cues then guide the model's training for generating videos, enabling flexible content variations and enhancing temporal stability. Through the decoupled paradigm, HiGen can effectively reduce the complexity of this task and generate realistic videos with semantics accuracy and motion stability. Extensive experiments demonstrate the superior performance of HiGen over the state-of-the-art T2V methods.