ViDAR: Reconstrucción 4D Consciente de Difusión de Vídeo a Partir de Entradas Monoculares

Resumen

La Síntesis Dinámica de Nuevas Vistas tiene como objetivo generar vistas fotorrealistas de sujetos en movimiento desde perspectivas arbitrarias. Esta tarea es particularmente desafiante cuando se depende de video monocular, donde separar la estructura del movimiento es un problema mal planteado y la supervisión es escasa. Presentamos Video Diffusion-Aware Reconstruction (ViDAR), un novedoso marco de reconstrucción 4D que aprovecha modelos de difusión personalizados para sintetizar una señal de supervisión pseudo multi-vista para entrenar una representación basada en splatting gaussiano. Al condicionar en características específicas de la escena, ViDAR recupera detalles de apariencia de grano fino mientras mitiga los artefactos introducidos por la ambigüedad monocular. Para abordar la inconsistencia espacio-temporal de la supervisión basada en difusión, proponemos una función de pérdida consciente de la difusión y una estrategia de optimización de la pose de la cámara que alinea las vistas sintéticas con la geometría subyacente de la escena. Los experimentos en DyCheck, un punto de referencia desafiante con variaciones extremas de perspectiva, muestran que ViDAR supera a todas las líneas base de última generación en calidad visual y consistencia geométrica. Además, destacamos la fuerte mejora de ViDAR sobre las líneas base en regiones dinámicas y proporcionamos un nuevo punto de referencia para comparar el rendimiento en la reconstrucción de partes de la escena ricas en movimiento. Página del proyecto: https://vidar-4d.github.io

English

Dynamic Novel View Synthesis aims to generate photorealistic views of moving subjects from arbitrary viewpoints. This task is particularly challenging when relying on monocular video, where disentangling structure from motion is ill-posed and supervision is scarce. We introduce Video Diffusion-Aware Reconstruction (ViDAR), a novel 4D reconstruction framework that leverages personalised diffusion models to synthesise a pseudo multi-view supervision signal for training a Gaussian splatting representation. By conditioning on scene-specific features, ViDAR recovers fine-grained appearance details while mitigating artefacts introduced by monocular ambiguity. To address the spatio-temporal inconsistency of diffusion-based supervision, we propose a diffusion-aware loss function and a camera pose optimisation strategy that aligns synthetic views with the underlying scene geometry. Experiments on DyCheck, a challenging benchmark with extreme viewpoint variation, show that ViDAR outperforms all state-of-the-art baselines in visual quality and geometric consistency. We further highlight ViDAR's strong improvement over baselines on dynamic regions and provide a new benchmark to compare performance in reconstructing motion-rich parts of the scene. Project page: https://vidar-4d.github.io

ViDAR: Reconstrucción 4D Consciente de Difusión de Vídeo a Partir de Entradas Monoculares

ViDAR: Video Diffusion-Aware 4D Reconstruction From Monocular Inputs

Resumen

Support