ViDAR: Видео-диффузионно-осознанная 4D-реконструкция по моноскопическим данным

Аннотация

Синтез динамических новых видов ставит своей целью создание фотореалистичных изображений движущихся объектов с произвольных точек зрения. Эта задача особенно сложна при использовании монохромного видео, где разделение структуры и движения является некорректно поставленной задачей, а доступные данные для обучения ограничены. Мы представляем Video Diffusion-Aware Reconstruction (ViDAR) — инновационную 4D-реконструкционную платформу, которая использует персонализированные диффузионные модели для синтеза псевдо-многовидового сигнала обучения, применяемого для тренировки представления на основе гауссовых сплайнов. Учитывая особенности конкретной сцены, ViDAR восстанавливает детализированные характеристики внешнего вида, одновременно минимизируя артефакты, вызванные неоднозначностью монохромного изображения. Для решения проблемы пространственно-временной несогласованности, связанной с диффузионным обучением, мы предлагаем диффузионно-осознанную функцию потерь и стратегию оптимизации положения камеры, которая согласует синтетические виды с базовой геометрией сцены. Эксперименты на DyCheck, сложном бенчмарке с экстремальными вариациями точек зрения, показывают, что ViDAR превосходит все современные базовые методы по визуальному качеству и геометрической согласованности. Мы также демонстрируем значительное улучшение ViDAR по сравнению с базовыми методами на динамических участках и предоставляем новый бенчмарк для сравнения производительности в реконструкции частей сцены с интенсивным движением. Страница проекта: https://vidar-4d.github.io

English

Dynamic Novel View Synthesis aims to generate photorealistic views of moving subjects from arbitrary viewpoints. This task is particularly challenging when relying on monocular video, where disentangling structure from motion is ill-posed and supervision is scarce. We introduce Video Diffusion-Aware Reconstruction (ViDAR), a novel 4D reconstruction framework that leverages personalised diffusion models to synthesise a pseudo multi-view supervision signal for training a Gaussian splatting representation. By conditioning on scene-specific features, ViDAR recovers fine-grained appearance details while mitigating artefacts introduced by monocular ambiguity. To address the spatio-temporal inconsistency of diffusion-based supervision, we propose a diffusion-aware loss function and a camera pose optimisation strategy that aligns synthetic views with the underlying scene geometry. Experiments on DyCheck, a challenging benchmark with extreme viewpoint variation, show that ViDAR outperforms all state-of-the-art baselines in visual quality and geometric consistency. We further highlight ViDAR's strong improvement over baselines on dynamic regions and provide a new benchmark to compare performance in reconstructing motion-rich parts of the scene. Project page: https://vidar-4d.github.io

ViDAR: Видео-диффузионно-осознанная 4D-реконструкция по моноскопическим данным

ViDAR: Video Diffusion-Aware 4D Reconstruction From Monocular Inputs

Аннотация

Support