ViDAR: Video-Diffusions-basierte 4D-Rekonstruktion aus monokularen Eingaben

Zusammenfassung

Dynamic Novel View Synthesis zielt darauf ab, fotorealistische Ansichten von sich bewegenden Objekten aus beliebigen Blickwinkeln zu generieren. Diese Aufgabe ist besonders herausfordernd, wenn man sich auf monokulare Videos verlässt, da die Trennung von Struktur und Bewegung in diesem Fall schlecht gestellt ist und die verfügbare Supervision begrenzt ist. Wir stellen Video Diffusion-Aware Reconstruction (ViDAR) vor, ein neuartiges 4D-Rekonstruktionsframework, das personalisierte Diffusionsmodelle nutzt, um ein pseudo-mehransichtiges Supervisionssignal für das Training einer Gaussian-Splatting-Darstellung zu synthetisieren. Durch die Konditionierung auf szenenspezifische Merkmale stellt ViDAR fein abgestufte Erscheinungsdetails wieder her und reduziert gleichzeitig Artefakte, die durch monokulare Mehrdeutigkeit entstehen. Um die räumlich-zeitliche Inkonsistenz der diffusionsbasierten Supervision zu adressieren, schlagen wir eine diffusionsbewusste Verlustfunktion und eine Kameraposenoptimierungsstrategie vor, die synthetische Ansichten mit der zugrunde liegenden Szenengeometrie in Einklang bringt. Experimente auf DyCheck, einem anspruchsvollen Benchmark mit extremen Blickwinkelvariationen, zeigen, dass ViDAR alle state-of-the-art Baselines in Bezug auf visuelle Qualität und geometrische Konsistenz übertrifft. Wir heben außerdem die deutliche Verbesserung von ViDAR gegenüber den Baselines in dynamischen Regionen hervor und stellen einen neuen Benchmark vor, um die Leistung bei der Rekonstruktion bewegungsreicher Teile der Szene zu vergleichen. Projektseite: https://vidar-4d.github.io

English

Dynamic Novel View Synthesis aims to generate photorealistic views of moving subjects from arbitrary viewpoints. This task is particularly challenging when relying on monocular video, where disentangling structure from motion is ill-posed and supervision is scarce. We introduce Video Diffusion-Aware Reconstruction (ViDAR), a novel 4D reconstruction framework that leverages personalised diffusion models to synthesise a pseudo multi-view supervision signal for training a Gaussian splatting representation. By conditioning on scene-specific features, ViDAR recovers fine-grained appearance details while mitigating artefacts introduced by monocular ambiguity. To address the spatio-temporal inconsistency of diffusion-based supervision, we propose a diffusion-aware loss function and a camera pose optimisation strategy that aligns synthetic views with the underlying scene geometry. Experiments on DyCheck, a challenging benchmark with extreme viewpoint variation, show that ViDAR outperforms all state-of-the-art baselines in visual quality and geometric consistency. We further highlight ViDAR's strong improvement over baselines on dynamic regions and provide a new benchmark to compare performance in reconstructing motion-rich parts of the scene. Project page: https://vidar-4d.github.io

ViDAR: Video-Diffusions-basierte 4D-Rekonstruktion aus monokularen Eingaben

ViDAR: Video Diffusion-Aware 4D Reconstruction From Monocular Inputs

Zusammenfassung

Support