SceNeRFlow: Временная согласованность реконструкции общих динамических сцен

SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes

August 16, 2023

Авторы: Edith Tretschk, Vladislav Golyanik, Michael Zollhoefer, Aljaz Bozic, Christoph Lassner, Christian Theobalt

cs.AI

Аннотация

Существующие методы для 4D-реконструкции общих объектов, подверженных нежестким деформациям, сосредоточены на синтезе новых видов и пренебрегают установлением соответствий. Однако временная согласованность позволяет решать более сложные задачи, такие как 3D-редактирование, анализ движения или создание виртуальных активов. Мы предлагаем метод SceNeRFlow для реконструкции общей сцены с нежесткими деформациями с сохранением временной согласованности. Наш метод динамического NeRF принимает на вход многовидовые RGB-видео и фоновые изображения, полученные с помощью статических камер с известными параметрами. Он реконструирует деформации оцененной канонической модели геометрии и внешнего вида в режиме реального времени. Поскольку эта каноническая модель инвариантна во времени, мы получаем соответствия даже для долгосрочных и протяженных движений. Мы используем нейронные представления сцены для параметризации компонентов нашего метода. Как и в предыдущих методах динамического NeRF, мы применяем модель обратной деформации. Мы обнаружили, что для обработки более крупных движений необходимы нетривиальные адаптации этой модели: мы разлагаем деформации на сильно регуляризованную грубую компоненту и слабо регуляризованную тонкую компоненту, причем грубая компонента также расширяет поле деформации в пространство вокруг объекта, что позволяет отслеживать его во времени. Экспериментально мы показываем, что, в отличие от предыдущих работ, которые справляются только с малыми движениями, наш метод позволяет реконструировать движения в масштабах студии.

English

Existing methods for the 4D reconstruction of general, non-rigidly deforming objects focus on novel-view synthesis and neglect correspondences. However, time consistency enables advanced downstream tasks like 3D editing, motion analysis, or virtual-asset creation. We propose SceNeRFlow to reconstruct a general, non-rigid scene in a time-consistent manner. Our dynamic-NeRF method takes multi-view RGB videos and background images from static cameras with known camera parameters as input. It then reconstructs the deformations of an estimated canonical model of the geometry and appearance in an online fashion. Since this canonical model is time-invariant, we obtain correspondences even for long-term, long-range motions. We employ neural scene representations to parametrize the components of our method. Like prior dynamic-NeRF methods, we use a backwards deformation model. We find non-trivial adaptations of this model necessary to handle larger motions: We decompose the deformations into a strongly regularized coarse component and a weakly regularized fine component, where the coarse component also extends the deformation field into the space surrounding the object, which enables tracking over time. We show experimentally that, unlike prior work that only handles small motion, our method enables the reconstruction of studio-scale motions.