Diffuman4D: Síntesis de Vistas Humanas 4D Consistentes a partir de Vídeos de Visión Escasa con Modelos de Difusión Espacio-Temporales

Diffuman4D: 4D Consistent Human View Synthesis from Sparse-View Videos with Spatio-Temporal Diffusion Models

July 17, 2025

Autores: Yudong Jin, Sida Peng, Xuan Wang, Tao Xie, Zhen Xu, Yifan Yang, Yujun Shen, Hujun Bao, Xiaowei Zhou

cs.AI

Resumen

Este artículo aborda el desafío de la síntesis de vistas de alta fidelidad de humanos utilizando vídeos de vistas escasas como entrada. Métodos anteriores resuelven el problema de la observación insuficiente aprovechando modelos de difusión 4D para generar vídeos desde nuevos puntos de vista. Sin embargo, los vídeos generados por estos modelos a menudo carecen de consistencia espacio-temporal, lo que degrada la calidad de la síntesis de vistas. En este trabajo, proponemos un novedoso proceso de desruido iterativo deslizante para mejorar la consistencia espacio-temporal del modelo de difusión 4D. Específicamente, definimos una cuadrícula latente en la que cada latente codifica la imagen, la pose de la cámara y la pose humana para un punto de vista y un momento determinados, luego desruidamos alternativamente la cuadrícula latente a lo largo de las dimensiones espacial y temporal con una ventana deslizante, y finalmente decodificamos los vídeos en los puntos de vista objetivo a partir de los latentes desruidados correspondientes. A través del deslizamiento iterativo, la información fluye suficientemente a través de la cuadrícula latente, permitiendo que el modelo de difusión obtenga un campo receptivo amplio y, por lo tanto, mejore la consistencia 4D de la salida, al mismo tiempo que hace que el consumo de memoria de la GPU sea asequible. Los experimentos en los conjuntos de datos DNA-Rendering y ActorsHQ demuestran que nuestro método es capaz de sintetizar vídeos de nuevas vistas de alta calidad y consistencia, superando significativamente a los enfoques existentes. Consulte nuestra página del proyecto para ver demostraciones interactivas y resultados en vídeo: https://diffuman4d.github.io/.

English

This paper addresses the challenge of high-fidelity view synthesis of humans with sparse-view videos as input. Previous methods solve the issue of insufficient observation by leveraging 4D diffusion models to generate videos at novel viewpoints. However, the generated videos from these models often lack spatio-temporal consistency, thus degrading view synthesis quality. In this paper, we propose a novel sliding iterative denoising process to enhance the spatio-temporal consistency of the 4D diffusion model. Specifically, we define a latent grid in which each latent encodes the image, camera pose, and human pose for a certain viewpoint and timestamp, then alternately denoising the latent grid along spatial and temporal dimensions with a sliding window, and finally decode the videos at target viewpoints from the corresponding denoised latents. Through the iterative sliding, information flows sufficiently across the latent grid, allowing the diffusion model to obtain a large receptive field and thus enhance the 4D consistency of the output, while making the GPU memory consumption affordable. The experiments on the DNA-Rendering and ActorsHQ datasets demonstrate that our method is able to synthesize high-quality and consistent novel-view videos and significantly outperforms the existing approaches. See our project page for interactive demos and video results: https://diffuman4d.github.io/ .