Diffuman4D: Sintesi di Viste Umane 4D Consistenti da Video a Vista Sparsa con Modelli di Diffusione Spazio-Temporali

Diffuman4D: 4D Consistent Human View Synthesis from Sparse-View Videos with Spatio-Temporal Diffusion Models

July 17, 2025

Autori: Yudong Jin, Sida Peng, Xuan Wang, Tao Xie, Zhen Xu, Yifan Yang, Yujun Shen, Hujun Bao, Xiaowei Zhou

cs.AI

Abstract

Questo articolo affronta la sfida della sintesi di visualizzazioni ad alta fedeltà di esseri umani utilizzando video a vista sparsa come input. I metodi precedenti risolvono il problema dell'osservazione insufficiente sfruttando modelli di diffusione 4D per generare video da nuove prospettive. Tuttavia, i video generati da questi modelli spesso mancano di coerenza spazio-temporale, degradando così la qualità della sintesi delle visualizzazioni. In questo articolo, proponiamo un nuovo processo di denoising iterativo a scorrimento per migliorare la coerenza spazio-temporale del modello di diffusione 4D. Nello specifico, definiamo una griglia latente in cui ogni elemento latente codifica l'immagine, la posa della telecamera e la posa umana per una determinata prospettiva e timestamp, quindi denoisiamo alternativamente la griglia latente lungo le dimensioni spaziali e temporali con una finestra scorrevole, e infine decodifichiamo i video dalle prospettive target dai corrispondenti elementi latenti denoisati. Attraverso lo scorrimento iterativo, le informazioni fluiscono sufficientemente attraverso la griglia latente, consentendo al modello di diffusione di ottenere un ampio campo recettivo e quindi migliorare la coerenza 4D dell'output, mantenendo al contempo il consumo di memoria GPU entro limiti accettabili. Gli esperimenti condotti sui dataset DNA-Rendering e ActorsHQ dimostrano che il nostro metodo è in grado di sintetizzare video di nuove prospettive di alta qualità e coerenti, superando significativamente gli approcci esistenti. Visita la nostra pagina del progetto per demo interattive e risultati video: https://diffuman4d.github.io/.

English

This paper addresses the challenge of high-fidelity view synthesis of humans with sparse-view videos as input. Previous methods solve the issue of insufficient observation by leveraging 4D diffusion models to generate videos at novel viewpoints. However, the generated videos from these models often lack spatio-temporal consistency, thus degrading view synthesis quality. In this paper, we propose a novel sliding iterative denoising process to enhance the spatio-temporal consistency of the 4D diffusion model. Specifically, we define a latent grid in which each latent encodes the image, camera pose, and human pose for a certain viewpoint and timestamp, then alternately denoising the latent grid along spatial and temporal dimensions with a sliding window, and finally decode the videos at target viewpoints from the corresponding denoised latents. Through the iterative sliding, information flows sufficiently across the latent grid, allowing the diffusion model to obtain a large receptive field and thus enhance the 4D consistency of the output, while making the GPU memory consumption affordable. The experiments on the DNA-Rendering and ActorsHQ datasets demonstrate that our method is able to synthesize high-quality and consistent novel-view videos and significantly outperforms the existing approaches. See our project page for interactive demos and video results: https://diffuman4d.github.io/ .