Vivid4D: Улучшение 4D-реконструкции из монокулярного видео с помощью видеоинпейнтинга

Vivid4D: Improving 4D Reconstruction from Monocular Video by Video Inpainting

April 15, 2025

Авторы: Jiaxin Huang, Sheng Miao, BangBnag Yang, Yuewen Ma, Yiyi Liao

cs.AI

Аннотация

Реконструкция 4D динамических сцен из случайно снятых монохромных видео представляет большую ценность, но является крайне сложной задачей, так как каждый момент времени наблюдается с одной точки зрения. Мы представляем Vivid4D — новый подход, который улучшает синтез 4D монохромных видео за счет расширения наблюдаемых ракурсов, синтезируя многовидовые видео из монохромного входа. В отличие от существующих методов, которые либо полагаются исключительно на геометрические априорные данные для контроля, либо используют генеративные априорные данные, игнорируя геометрию, мы интегрируем оба подхода. Это переформулирует задачу расширения ракурсов как задачу восстановления видео, где наблюдаемые ракурсы преобразуются в новые точки зрения на основе априорных данных о глубине монохромного изображения. Для достижения этого мы обучаем модель восстановления видео на неаннотированных веб-видео с синтетически сгенерированными масками, имитирующими окклюзии при преобразовании, обеспечивая пространственно и временно согласованное заполнение отсутствующих областей. Чтобы дополнительно снизить неточности в априорных данных о глубине монохромного изображения, мы вводим итеративную стратегию расширения ракурсов и устойчивую функцию потерь для реконструкции. Эксперименты показывают, что наш метод эффективно улучшает реконструкцию и завершение 4D сцен из монохромных видео.

English

Reconstructing 4D dynamic scenes from casually captured monocular videos is valuable but highly challenging, as each timestamp is observed from a single viewpoint. We introduce Vivid4D, a novel approach that enhances 4D monocular video synthesis by augmenting observation views - synthesizing multi-view videos from a monocular input. Unlike existing methods that either solely leverage geometric priors for supervision or use generative priors while overlooking geometry, we integrate both. This reformulates view augmentation as a video inpainting task, where observed views are warped into new viewpoints based on monocular depth priors. To achieve this, we train a video inpainting model on unposed web videos with synthetically generated masks that mimic warping occlusions, ensuring spatially and temporally consistent completion of missing regions. To further mitigate inaccuracies in monocular depth priors, we introduce an iterative view augmentation strategy and a robust reconstruction loss. Experiments demonstrate that our method effectively improves monocular 4D scene reconstruction and completion.