ViDAR: Ricostruzione 4D Consapevole della Diffusione Video da Input Monoculari

Abstract

La Sintesi Dinamica di Nuove Visualizzazioni mira a generare viste fotorealistiche di soggetti in movimento da punti di vista arbitrari. Questo compito è particolarmente impegnativo quando si fa affidamento su video monoculari, dove separare la struttura dal movimento è un problema mal posto e la supervisione è scarsa. Introduciamo Video Diffusion-Aware Reconstruction (ViDAR), un innovativo framework di ricostruzione 4D che sfrutta modelli di diffusione personalizzati per sintetizzare un segnale di supervisione pseudo multi-vista per addestrare una rappresentazione a splatting gaussiano. Condizionando su caratteristiche specifiche della scena, ViDAR recupera dettagli di aspetto fine-granularità mitigando al contempo gli artefatti introdotti dall'ambiguità monoculare. Per affrontare l'inconsistenza spazio-temporale della supervisione basata su diffusione, proponiamo una funzione di perdita diffusion-aware e una strategia di ottimizzazione della posizione della telecamera che allinea le viste sintetiche con la geometria sottostante della scena. Gli esperimenti su DyCheck, un benchmark impegnativo con variazioni estreme del punto di vista, dimostrano che ViDAR supera tutti i baselines state-of-the-art in termini di qualità visiva e consistenza geometrica. Evidenziamo inoltre il forte miglioramento di ViDAR rispetto ai baselines sulle regioni dinamiche e forniamo un nuovo benchmark per confrontare le prestazioni nella ricostruzione delle parti della scena ricche di movimento. Pagina del progetto: https://vidar-4d.github.io

English

Dynamic Novel View Synthesis aims to generate photorealistic views of moving subjects from arbitrary viewpoints. This task is particularly challenging when relying on monocular video, where disentangling structure from motion is ill-posed and supervision is scarce. We introduce Video Diffusion-Aware Reconstruction (ViDAR), a novel 4D reconstruction framework that leverages personalised diffusion models to synthesise a pseudo multi-view supervision signal for training a Gaussian splatting representation. By conditioning on scene-specific features, ViDAR recovers fine-grained appearance details while mitigating artefacts introduced by monocular ambiguity. To address the spatio-temporal inconsistency of diffusion-based supervision, we propose a diffusion-aware loss function and a camera pose optimisation strategy that aligns synthetic views with the underlying scene geometry. Experiments on DyCheck, a challenging benchmark with extreme viewpoint variation, show that ViDAR outperforms all state-of-the-art baselines in visual quality and geometric consistency. We further highlight ViDAR's strong improvement over baselines on dynamic regions and provide a new benchmark to compare performance in reconstructing motion-rich parts of the scene. Project page: https://vidar-4d.github.io

ViDAR: Ricostruzione 4D Consapevole della Diffusione Video da Input Monoculari

ViDAR: Video Diffusion-Aware 4D Reconstruction From Monocular Inputs

Abstract

Support