Diffuman4D: Síntese de Visão Humana 4D Consistente a partir de Vídeos de Visão Esparsa com Modelos de Difusão Espaço-Temporal

Diffuman4D: 4D Consistent Human View Synthesis from Sparse-View Videos with Spatio-Temporal Diffusion Models

July 17, 2025

Autores: Yudong Jin, Sida Peng, Xuan Wang, Tao Xie, Zhen Xu, Yifan Yang, Yujun Shen, Hujun Bao, Xiaowei Zhou

cs.AI

Resumo

Este artigo aborda o desafio da síntese de visões de alta fidelidade de humanos utilizando vídeos de visão esparsa como entrada. Métodos anteriores resolvem o problema de observação insuficiente empregando modelos de difusão 4D para gerar vídeos em novos pontos de vista. No entanto, os vídeos gerados por esses modelos frequentemente carecem de consistência espaço-temporal, prejudicando a qualidade da síntese de visões. Neste artigo, propomos um novo processo iterativo de desnudamento deslizante para aprimorar a consistência espaço-temporal do modelo de difusão 4D. Especificamente, definimos uma grade latente na qual cada latente codifica a imagem, a pose da câmera e a pose humana para um determinado ponto de vista e timestamp, em seguida, desnudamos alternadamente a grade latente ao longo das dimensões espacial e temporal com uma janela deslizante, e finalmente decodificamos os vídeos nos pontos de vista alvo a partir dos latentes desnudados correspondentes. Através da iteração deslizante, a informação flui suficientemente através da grade latente, permitindo que o modelo de difusão obtenha um grande campo receptivo e, assim, melhore a consistência 4D da saída, ao mesmo tempo em que torna o consumo de memória da GPU viável. Os experimentos realizados nos conjuntos de dados DNA-Rendering e ActorsHQ demonstram que nosso método é capaz de sintetizar vídeos de novos pontos de vista de alta qualidade e consistência, superando significativamente as abordagens existentes. Consulte nossa página do projeto para demonstrações interativas e resultados em vídeo: https://diffuman4d.github.io/.

English

This paper addresses the challenge of high-fidelity view synthesis of humans with sparse-view videos as input. Previous methods solve the issue of insufficient observation by leveraging 4D diffusion models to generate videos at novel viewpoints. However, the generated videos from these models often lack spatio-temporal consistency, thus degrading view synthesis quality. In this paper, we propose a novel sliding iterative denoising process to enhance the spatio-temporal consistency of the 4D diffusion model. Specifically, we define a latent grid in which each latent encodes the image, camera pose, and human pose for a certain viewpoint and timestamp, then alternately denoising the latent grid along spatial and temporal dimensions with a sliding window, and finally decode the videos at target viewpoints from the corresponding denoised latents. Through the iterative sliding, information flows sufficiently across the latent grid, allowing the diffusion model to obtain a large receptive field and thus enhance the 4D consistency of the output, while making the GPU memory consumption affordable. The experiments on the DNA-Rendering and ActorsHQ datasets demonstrate that our method is able to synthesize high-quality and consistent novel-view videos and significantly outperforms the existing approaches. See our project page for interactive demos and video results: https://diffuman4d.github.io/ .