ViDAR: Reconstrução 4D Consciente de Difusão de Vídeo a Partir de Entradas Monoculares
ViDAR: Video Diffusion-Aware 4D Reconstruction From Monocular Inputs
June 23, 2025
Autores: Michal Nazarczuk, Sibi Catley-Chandar, Thomas Tanay, Zhensong Zhang, Gregory Slabaugh, Eduardo Pérez-Pellitero
cs.AI
Resumo
A Síntese Dinâmica de Novas Visões tem como objetivo gerar visões fotorrealistas de sujeitos em movimento a partir de pontos de vista arbitrários. Essa tarefa é particularmente desafiadora quando se depende de vídeo monocular, onde a separação entre estrutura e movimento é mal definida e a supervisão é escassa. Apresentamos o Video Diffusion-Aware Reconstruction (ViDAR), uma nova estrutura de reconstrução 4D que utiliza modelos de difusão personalizados para sintetizar um sinal de supervisão pseudo multivista para treinar uma representação baseada em splatting Gaussiano. Ao condicionar em características específicas da cena, o ViDAR recupera detalhes de aparência refinados enquanto mitiga artefatos introduzidos pela ambiguidade monocular. Para lidar com a inconsistência espaço-temporal da supervisão baseada em difusão, propomos uma função de perda diffusion-aware e uma estratégia de otimização de pose da câmera que alinha visões sintéticas com a geometria subjacente da cena. Experimentos no DyCheck, um benchmark desafiador com variação extrema de ponto de vista, mostram que o ViDAR supera todas as baselines state-of-the-art em qualidade visual e consistência geométrica. Destacamos ainda a forte melhoria do ViDAR em relação às baselines em regiões dinâmicas e fornecemos um novo benchmark para comparar o desempenho na reconstrução de partes da cena ricas em movimento. Página do projeto: https://vidar-4d.github.io
English
Dynamic Novel View Synthesis aims to generate photorealistic views of moving
subjects from arbitrary viewpoints. This task is particularly challenging when
relying on monocular video, where disentangling structure from motion is
ill-posed and supervision is scarce. We introduce Video Diffusion-Aware
Reconstruction (ViDAR), a novel 4D reconstruction framework that leverages
personalised diffusion models to synthesise a pseudo multi-view supervision
signal for training a Gaussian splatting representation. By conditioning on
scene-specific features, ViDAR recovers fine-grained appearance details while
mitigating artefacts introduced by monocular ambiguity. To address the
spatio-temporal inconsistency of diffusion-based supervision, we propose a
diffusion-aware loss function and a camera pose optimisation strategy that
aligns synthetic views with the underlying scene geometry. Experiments on
DyCheck, a challenging benchmark with extreme viewpoint variation, show that
ViDAR outperforms all state-of-the-art baselines in visual quality and
geometric consistency. We further highlight ViDAR's strong improvement over
baselines on dynamic regions and provide a new benchmark to compare performance
in reconstructing motion-rich parts of the scene. Project page:
https://vidar-4d.github.io