Diffuman4D: Синтез 4D-согласованных видов человека из видео с разреженными ракурсами с использованием пространственно-временных диффузионных моделей

Diffuman4D: 4D Consistent Human View Synthesis from Sparse-View Videos with Spatio-Temporal Diffusion Models

July 17, 2025

Авторы: Yudong Jin, Sida Peng, Xuan Wang, Tao Xie, Zhen Xu, Yifan Yang, Yujun Shen, Hujun Bao, Xiaowei Zhou

cs.AI

Аннотация

В данной работе рассматривается задача синтеза высококачественных изображений человека с использованием видеозаписей с ограниченного числа ракурсов в качестве входных данных. Предыдущие методы решали проблему недостаточного количества наблюдений с помощью 4D диффузионных моделей, генерирующих видео с новых точек зрения. Однако видео, созданные этими моделями, часто страдают от недостатка пространственно-временной согласованности, что снижает качество синтеза изображений. В данной работе мы предлагаем новый метод скользящего итеративного шумоподавления для улучшения пространственно-временной согласованности 4D диффузионной модели. В частности, мы определяем скрытую сетку, в которой каждый скрытый вектор кодирует изображение, положение камеры и позу человека для определенного ракурса и момента времени, затем попеременно подавляем шум в скрытой сетке вдоль пространственных и временных измерений с использованием скользящего окна и, наконец, декодируем видео для целевых ракурсов из соответствующих очищенных скрытых векторов. Благодаря итеративному скольжению информация эффективно распространяется по скрытой сетке, что позволяет диффузионной модели охватывать широкую область восприятия и, таким образом, улучшать 4D согласованность выходных данных, сохраняя при этом приемлемое потребление памяти GPU. Эксперименты на наборах данных DNA-Rendering и ActorsHQ демонстрируют, что наш метод способен синтезировать высококачественные и согласованные видео с новых ракурсов и значительно превосходит существующие подходы. Интерактивные демонстрации и видео результаты доступны на странице проекта: https://diffuman4d.github.io/.

English

This paper addresses the challenge of high-fidelity view synthesis of humans with sparse-view videos as input. Previous methods solve the issue of insufficient observation by leveraging 4D diffusion models to generate videos at novel viewpoints. However, the generated videos from these models often lack spatio-temporal consistency, thus degrading view synthesis quality. In this paper, we propose a novel sliding iterative denoising process to enhance the spatio-temporal consistency of the 4D diffusion model. Specifically, we define a latent grid in which each latent encodes the image, camera pose, and human pose for a certain viewpoint and timestamp, then alternately denoising the latent grid along spatial and temporal dimensions with a sliding window, and finally decode the videos at target viewpoints from the corresponding denoised latents. Through the iterative sliding, information flows sufficiently across the latent grid, allowing the diffusion model to obtain a large receptive field and thus enhance the 4D consistency of the output, while making the GPU memory consumption affordable. The experiments on the DNA-Rendering and ActorsHQ datasets demonstrate that our method is able to synthesize high-quality and consistent novel-view videos and significantly outperforms the existing approaches. See our project page for interactive demos and video results: https://diffuman4d.github.io/ .