Human4DiT: Menselijke videogeneratie vanuit vrij perspectief met 4D Diffusion Transformer

Human4DiT: Free-view Human Video Generation with 4D Diffusion Transformer

May 27, 2024

Auteurs: Ruizhi Shao, Youxin Pang, Zerong Zheng, Jingxiang Sun, Yebin Liu

cs.AI

Samenvatting

We presenteren een nieuwe aanpak voor het genereren van hoogwaardige, ruimtelijk-temporeel coherente menselijke video's vanuit een enkele afbeelding onder willekeurige gezichtspunten. Ons framework combineert de sterke punten van U-Nets voor nauwkeurige conditionering en diffusietransformers voor het vastleggen van globale correlaties tussen gezichtspunten en tijd. De kern is een gecascadeerde 4D-transformerarchitectuur die aandacht factoriseert over gezichtspunten, tijd en ruimtelijke dimensies, waardoor efficiënte modellering van de 4D-ruimte mogelijk wordt. Nauwkeurige conditionering wordt bereikt door menselijke identiteit, cameraparameters en temporele signalen in de respectievelijke transformers te injecteren. Om dit model te trainen, hebben we een multidimensionale dataset samengesteld die afbeeldingen, video's, multiview-data en 3D/4D-scans omvat, samen met een multidimensionale trainingsstrategie. Onze aanpak overkomt de beperkingen van eerdere methoden gebaseerd op GAN- of UNet-gebaseerde diffusiemodellen, die moeite hebben met complexe bewegingen en veranderingen in gezichtspunten. Door uitgebreide experimenten demonstreren we het vermogen van onze methode om realistische, coherente en vrij bekijkbare menselijke video's te synthetiseren, wat de weg vrijmaakt voor geavanceerde multimediatoepassingen in gebieden zoals virtual reality en animatie. Onze projectwebsite is https://human4dit.github.io.

English

We present a novel approach for generating high-quality, spatio-temporally coherent human videos from a single image under arbitrary viewpoints. Our framework combines the strengths of U-Nets for accurate condition injection and diffusion transformers for capturing global correlations across viewpoints and time. The core is a cascaded 4D transformer architecture that factorizes attention across views, time, and spatial dimensions, enabling efficient modeling of the 4D space. Precise conditioning is achieved by injecting human identity, camera parameters, and temporal signals into the respective transformers. To train this model, we curate a multi-dimensional dataset spanning images, videos, multi-view data and 3D/4D scans, along with a multi-dimensional training strategy. Our approach overcomes the limitations of previous methods based on GAN or UNet-based diffusion models, which struggle with complex motions and viewpoint changes. Through extensive experiments, we demonstrate our method's ability to synthesize realistic, coherent and free-view human videos, paving the way for advanced multimedia applications in areas such as virtual reality and animation. Our project website is https://human4dit.github.io.