Diffuman4D : Synthèse de vues humaines 4D cohérentes à partir de vidéos multivues éparses avec des modèles de diffusion spatio-temporels

Diffuman4D: 4D Consistent Human View Synthesis from Sparse-View Videos with Spatio-Temporal Diffusion Models

July 17, 2025

papers.authors: Yudong Jin, Sida Peng, Xuan Wang, Tao Xie, Zhen Xu, Yifan Yang, Yujun Shen, Hujun Bao, Xiaowei Zhou

cs.AI

papers.abstract

Cet article aborde le défi de la synthèse de vues haute fidélité d'humains à partir de vidéos en vue éparse comme entrée. Les méthodes précédentes résolvent le problème de l'observation insuffisante en exploitant des modèles de diffusion 4D pour générer des vidéos sous de nouveaux points de vue. Cependant, les vidéos générées par ces modèles manquent souvent de cohérence spatio-temporelle, ce qui dégrade la qualité de la synthèse de vues. Dans cet article, nous proposons un nouveau processus de débruîtage itératif glissant pour améliorer la cohérence spatio-temporelle du modèle de diffusion 4D. Plus précisément, nous définissons une grille latente dans laquelle chaque latent encode l'image, la pose de la caméra et la pose humaine pour un certain point de vue et un instant donné, puis nous débruîtons alternativement la grille latente selon les dimensions spatiales et temporelles avec une fenêtre glissante, et enfin nous décodons les vidéos aux points de vue cibles à partir des latents débruîtés correspondants. Grâce à l'itération glissante, l'information circule suffisamment à travers la grille latente, permettant au modèle de diffusion d'obtenir un champ réceptif large et ainsi d'améliorer la cohérence 4D de la sortie, tout en rendant la consommation de mémoire GPU abordable. Les expériences sur les ensembles de données DNA-Rendering et ActorsHQ démontrent que notre méthode est capable de synthétiser des vidéos de nouvelles vues de haute qualité et cohérentes, surpassant significativement les approches existantes. Consultez notre page de projet pour des démonstrations interactives et des résultats vidéo : https://diffuman4d.github.io/.

English

This paper addresses the challenge of high-fidelity view synthesis of humans with sparse-view videos as input. Previous methods solve the issue of insufficient observation by leveraging 4D diffusion models to generate videos at novel viewpoints. However, the generated videos from these models often lack spatio-temporal consistency, thus degrading view synthesis quality. In this paper, we propose a novel sliding iterative denoising process to enhance the spatio-temporal consistency of the 4D diffusion model. Specifically, we define a latent grid in which each latent encodes the image, camera pose, and human pose for a certain viewpoint and timestamp, then alternately denoising the latent grid along spatial and temporal dimensions with a sliding window, and finally decode the videos at target viewpoints from the corresponding denoised latents. Through the iterative sliding, information flows sufficiently across the latent grid, allowing the diffusion model to obtain a large receptive field and thus enhance the 4D consistency of the output, while making the GPU memory consumption affordable. The experiments on the DNA-Rendering and ActorsHQ datasets demonstrate that our method is able to synthesize high-quality and consistent novel-view videos and significantly outperforms the existing approaches. See our project page for interactive demos and video results: https://diffuman4d.github.io/ .