Geo4D: Использование генераторов видео для геометрической реконструкции 4D-сцен

Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction

April 10, 2025

Авторы: Zeren Jiang, Chuanxia Zheng, Iro Laina, Diane Larlus, Andrea Vedaldi

cs.AI

Аннотация

Мы представляем Geo4D — метод адаптации моделей диффузии видео для моноскопической 3D-реконструкции динамических сцен. Используя мощный динамический приоритет, заложенный в таких видео-моделях, Geo4D может обучаться исключительно на синтетических данных, при этом демонстрируя отличную обобщаемость на реальные данные в режиме zero-shot. Geo4D предсказывает несколько взаимодополняющих геометрических модальностей, а именно карты точек, глубины и лучей. Для их согласования и объединения, а также для обработки нескольких скользящих окон на этапе вывода, используется новый многомодальный алгоритм выравнивания, что позволяет получать устойчивую и точную 4D-реконструкцию длинных видео. Многочисленные эксперименты на различных бенчмарках показывают, что Geo4D значительно превосходит современные методы оценки глубины видео, включая недавние подходы, такие как MonST3R, которые также разработаны для работы с динамическими сценами.

English

We introduce Geo4D, a method to repurpose video diffusion models for monocular 3D reconstruction of dynamic scenes. By leveraging the strong dynamic prior captured by such video models, Geo4D can be trained using only synthetic data while generalizing well to real data in a zero-shot manner. Geo4D predicts several complementary geometric modalities, namely point, depth, and ray maps. It uses a new multi-modal alignment algorithm to align and fuse these modalities, as well as multiple sliding windows, at inference time, thus obtaining robust and accurate 4D reconstruction of long videos. Extensive experiments across multiple benchmarks show that Geo4D significantly surpasses state-of-the-art video depth estimation methods, including recent methods such as MonST3R, which are also designed to handle dynamic scenes.