Human4DiT: Freie Ansicht der menschlichen Videogenerierung mit 4D-Diffusions-Transformer

Human4DiT: Free-view Human Video Generation with 4D Diffusion Transformer

May 27, 2024

Autoren: Ruizhi Shao, Youxin Pang, Zerong Zheng, Jingxiang Sun, Yebin Liu

cs.AI

Zusammenfassung

Wir präsentieren einen neuartigen Ansatz zur Generierung hochwertiger, räumlich-zeitlich kohärenter menschlicher Videos aus einem einzigen Bild unter beliebigen Blickwinkeln. Unser Framework kombiniert die Stärken von U-Netzen für präzise Bedingungsinjektion und Diffusions-Transformern zur Erfassung globaler Korrelationen über Blickwinkel und Zeit hinweg. Der Kern ist eine gestufte 4D-Transformer-Architektur, die die Aufmerksamkeit über Ansichten, Zeit und räumliche Dimensionen faktorisiert und eine effiziente Modellierung des 4D-Raums ermöglicht. Eine präzise Bedingungsinjektion wird durch die Einspeisung von menschlicher Identität, Kameraparametern und zeitlichen Signalen in die jeweiligen Transformer erreicht. Zur Schulung dieses Modells kuratieren wir einen multidimensionalen Datensatz, der Bilder, Videos, Mehrblickdaten und 3D/4D-Scans umfasst, zusammen mit einer multidimensionalen Schulungsstrategie. Unser Ansatz überwindet die Einschränkungen früherer Methoden, die auf GAN oder UNet-basierten Diffusionsmodellen beruhen, die mit komplexen Bewegungen und Blickwinkeländerungen zu kämpfen haben. Durch umfangreiche Experimente zeigen wir die Fähigkeit unserer Methode, realistische, kohärente und frei betrachtbare menschliche Videos zu synthetisieren und ebnet so den Weg für fortschrittliche Multimedia-Anwendungen in Bereichen wie Virtual Reality und Animation. Unsere Projektwebsite lautet https://human4dit.github.io.

English

We present a novel approach for generating high-quality, spatio-temporally coherent human videos from a single image under arbitrary viewpoints. Our framework combines the strengths of U-Nets for accurate condition injection and diffusion transformers for capturing global correlations across viewpoints and time. The core is a cascaded 4D transformer architecture that factorizes attention across views, time, and spatial dimensions, enabling efficient modeling of the 4D space. Precise conditioning is achieved by injecting human identity, camera parameters, and temporal signals into the respective transformers. To train this model, we curate a multi-dimensional dataset spanning images, videos, multi-view data and 3D/4D scans, along with a multi-dimensional training strategy. Our approach overcomes the limitations of previous methods based on GAN or UNet-based diffusion models, which struggle with complex motions and viewpoint changes. Through extensive experiments, we demonstrate our method's ability to synthesize realistic, coherent and free-view human videos, paving the way for advanced multimedia applications in areas such as virtual reality and animation. Our project website is https://human4dit.github.io.