Diffuman4D: 4D-consistente menselijke viewsynthese vanuit sparse-view video's met spatio-temporele diffusiemodellen

Diffuman4D: 4D Consistent Human View Synthesis from Sparse-View Videos with Spatio-Temporal Diffusion Models

July 17, 2025

Auteurs: Yudong Jin, Sida Peng, Xuan Wang, Tao Xie, Zhen Xu, Yifan Yang, Yujun Shen, Hujun Bao, Xiaowei Zhou

cs.AI

Samenvatting

Dit artikel behandelt de uitdaging van hoogwaardige viewsynthese van mensen met behulp van spaarzame videobeelden als invoer. Eerdere methoden lossen het probleem van onvoldoende observatie op door gebruik te maken van 4D diffusiemodellen om video's vanuit nieuwe gezichtspunten te genereren. De gegenereerde video's van deze modellen missen echter vaak ruimtelijk-temporele consistentie, wat de kwaliteit van de viewsynthese aantast. In dit artikel introduceren we een nieuw glijdend iteratief denoisingsproces om de ruimtelijk-temporele consistentie van het 4D diffusiemodel te verbeteren. Specifiek definiëren we een latent grid waarin elke latent de afbeelding, camerapositie en menselijke houding voor een bepaald gezichtspunt en tijdstip codeert, waarna we het latent grid afwisselend denoizen langs ruimtelijke en temporele dimensies met een glijdend venster, en uiteindelijk de video's op doelgezichtspunten decoderen vanuit de corresponderende gedenoiseerde latents. Door het iteratieve glijden stroomt informatie voldoende door het latent grid, waardoor het diffusiemodel een groot receptief veld verkrijgt en zo de 4D consistentie van de output verbetert, terwijl het GPU-geheugenverbruik betaalbaar blijft. De experimenten op de DNA-Rendering en ActorsHQ datasets tonen aan dat onze methode in staat is hoogwaardige en consistente video's vanuit nieuwe gezichtspunten te synthetiseren en significant beter presteert dan bestaande benaderingen. Zie onze projectpagina voor interactieve demo's en videoresultaten: https://diffuman4d.github.io/.

English

This paper addresses the challenge of high-fidelity view synthesis of humans with sparse-view videos as input. Previous methods solve the issue of insufficient observation by leveraging 4D diffusion models to generate videos at novel viewpoints. However, the generated videos from these models often lack spatio-temporal consistency, thus degrading view synthesis quality. In this paper, we propose a novel sliding iterative denoising process to enhance the spatio-temporal consistency of the 4D diffusion model. Specifically, we define a latent grid in which each latent encodes the image, camera pose, and human pose for a certain viewpoint and timestamp, then alternately denoising the latent grid along spatial and temporal dimensions with a sliding window, and finally decode the videos at target viewpoints from the corresponding denoised latents. Through the iterative sliding, information flows sufficiently across the latent grid, allowing the diffusion model to obtain a large receptive field and thus enhance the 4D consistency of the output, while making the GPU memory consumption affordable. The experiments on the DNA-Rendering and ActorsHQ datasets demonstrate that our method is able to synthesize high-quality and consistent novel-view videos and significantly outperforms the existing approaches. See our project page for interactive demos and video results: https://diffuman4d.github.io/ .