Human4DiT: Geração de Vídeos Humanos em Visão Livre com Transformador de Difusão 4D

Human4DiT: Free-view Human Video Generation with 4D Diffusion Transformer

May 27, 2024

Autores: Ruizhi Shao, Youxin Pang, Zerong Zheng, Jingxiang Sun, Yebin Liu

cs.AI

Resumo

Apresentamos uma abordagem inovadora para gerar vídeos humanos de alta qualidade e coerência espaço-temporal a partir de uma única imagem sob perspectivas arbitrárias. Nosso framework combina os pontos fortes das U-Nets para injeção precisa de condições e dos transformadores de difusão para capturar correlações globais entre perspectivas e tempo. O núcleo é uma arquitetura cascata de transformador 4D que fatoriza a atenção entre visões, tempo e dimensões espaciais, permitindo a modelagem eficiente do espaço 4D. A condicionamento preciso é alcançado ao injetar identidade humana, parâmetros da câmera e sinais temporais nos respectivos transformadores. Para treinar este modelo, organizamos um conjunto de dados multidimensional que abrange imagens, vídeos, dados multivista e varreduras 3D/4D, juntamente com uma estratégia de treinamento multidimensional. Nossa abordagem supera as limitações de métodos anteriores baseados em GAN ou modelos de difusão baseados em UNet, que lutam com movimentos complexos e mudanças de perspectiva. Por meio de experimentos extensivos, demonstramos a capacidade do nosso método de sintetizar vídeos humanos realistas, coerentes e de visão livre, abrindo caminho para aplicações avançadas de multimídia em áreas como realidade virtual e animação. O site do nosso projeto é https://human4dit.github.io.

English

We present a novel approach for generating high-quality, spatio-temporally coherent human videos from a single image under arbitrary viewpoints. Our framework combines the strengths of U-Nets for accurate condition injection and diffusion transformers for capturing global correlations across viewpoints and time. The core is a cascaded 4D transformer architecture that factorizes attention across views, time, and spatial dimensions, enabling efficient modeling of the 4D space. Precise conditioning is achieved by injecting human identity, camera parameters, and temporal signals into the respective transformers. To train this model, we curate a multi-dimensional dataset spanning images, videos, multi-view data and 3D/4D scans, along with a multi-dimensional training strategy. Our approach overcomes the limitations of previous methods based on GAN or UNet-based diffusion models, which struggle with complex motions and viewpoint changes. Through extensive experiments, we demonstrate our method's ability to synthesize realistic, coherent and free-view human videos, paving the way for advanced multimedia applications in areas such as virtual reality and animation. Our project website is https://human4dit.github.io.