ViDAR: Video Diffusie-Gebaseerde 4D Reconstructie vanuit Monoculaire Inputs

Samenvatting

Dynamic Novel View Synthesis heeft als doel fotorealistische aanzichten van bewegende onderwerpen vanuit willekeurige gezichtspunten te genereren. Deze taak is bijzonder uitdagend wanneer er wordt vertrouwd op monoscopische video, waarbij het ontwarren van structuur uit beweging slecht gesteld is en er weinig supervisie beschikbaar is. We introduceren Video Diffusion-Aware Reconstruction (ViDAR), een nieuw 4D-reconstructiekader dat gebruikmaakt van gepersonaliseerde diffusiemodellen om een pseudo multi-view supervisiesignaal te synthetiseren voor het trainen van een Gaussische splatting-representatie. Door te conditioneren op scènespecifieke kenmerken, herstelt ViDAR fijnmazige uiterlijke details terwijl artefacten die worden geïntroduceerd door monoscopische ambiguïteit worden gemitigeerd. Om de ruimtelijk-temporele inconsistentie van diffusiegebaseerde supervisie aan te pakken, stellen we een diffusiebewuste verliesfunctie en een camerapose-optimalisatiestrategie voor die synthetische aanzichten uitlijnen met de onderliggende scènegeometrie. Experimenten op DyCheck, een uitdagende benchmark met extreme variatie in gezichtspunt, tonen aan dat ViDAR alle state-of-the-art baselines overtreft in visuele kwaliteit en geometrische consistentie. We benadrukken verder de sterke verbetering van ViDAR ten opzichte van baselines op dynamische regio's en bieden een nieuwe benchmark om prestaties te vergelijken bij het reconstrueren van bewegingsrijke delen van de scène. Projectpagina: https://vidar-4d.github.io

English

Dynamic Novel View Synthesis aims to generate photorealistic views of moving subjects from arbitrary viewpoints. This task is particularly challenging when relying on monocular video, where disentangling structure from motion is ill-posed and supervision is scarce. We introduce Video Diffusion-Aware Reconstruction (ViDAR), a novel 4D reconstruction framework that leverages personalised diffusion models to synthesise a pseudo multi-view supervision signal for training a Gaussian splatting representation. By conditioning on scene-specific features, ViDAR recovers fine-grained appearance details while mitigating artefacts introduced by monocular ambiguity. To address the spatio-temporal inconsistency of diffusion-based supervision, we propose a diffusion-aware loss function and a camera pose optimisation strategy that aligns synthetic views with the underlying scene geometry. Experiments on DyCheck, a challenging benchmark with extreme viewpoint variation, show that ViDAR outperforms all state-of-the-art baselines in visual quality and geometric consistency. We further highlight ViDAR's strong improvement over baselines on dynamic regions and provide a new benchmark to compare performance in reconstructing motion-rich parts of the scene. Project page: https://vidar-4d.github.io

ViDAR: Video Diffusie-Gebaseerde 4D Reconstructie vanuit Monoculaire Inputs

ViDAR: Video Diffusion-Aware 4D Reconstruction From Monocular Inputs

Samenvatting

Support