SceNeRFlow: Reconstrucción Temporalmente Consistente de Escenas Dinámicas Generales

SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes

August 16, 2023

Autores: Edith Tretschk, Vladislav Golyanik, Michael Zollhoefer, Aljaz Bozic, Christoph Lassner, Christian Theobalt

cs.AI

Resumen

Los métodos existentes para la reconstrucción 4D de objetos generales que se deforman de manera no rígida se centran en la síntesis de nuevas vistas y descuidan las correspondencias. Sin embargo, la consistencia temporal permite tareas avanzadas como la edición 3D, el análisis de movimiento o la creación de activos virtuales. Proponemos SceNeRFlow para reconstruir una escena general no rígida de manera temporalmente consistente. Nuestro método dinámico basado en NeRF toma como entrada videos RGB de múltiples vistas e imágenes de fondo de cámaras estáticas con parámetros de cámara conocidos. Luego, reconstruye las deformaciones de un modelo canónico estimado de la geometría y la apariencia de manera en línea. Dado que este modelo canónico es invariante en el tiempo, obtenemos correspondencias incluso para movimientos de largo plazo y gran amplitud. Empleamos representaciones neurales de escenas para parametrizar los componentes de nuestro método. Al igual que los métodos dinámicos de NeRF anteriores, utilizamos un modelo de deformación inversa. Encontramos que se necesitan adaptaciones no triviales de este modelo para manejar movimientos más amplios: descomponemos las deformaciones en un componente grueso fuertemente regularizado y un componente fino débilmente regularizado, donde el componente grueso también extiende el campo de deformación al espacio que rodea al objeto, lo que permite el seguimiento a lo largo del tiempo. Demostramos experimentalmente que, a diferencia de trabajos anteriores que solo manejan movimientos pequeños, nuestro método permite la reconstrucción de movimientos a escala de estudio.

English

Existing methods for the 4D reconstruction of general, non-rigidly deforming objects focus on novel-view synthesis and neglect correspondences. However, time consistency enables advanced downstream tasks like 3D editing, motion analysis, or virtual-asset creation. We propose SceNeRFlow to reconstruct a general, non-rigid scene in a time-consistent manner. Our dynamic-NeRF method takes multi-view RGB videos and background images from static cameras with known camera parameters as input. It then reconstructs the deformations of an estimated canonical model of the geometry and appearance in an online fashion. Since this canonical model is time-invariant, we obtain correspondences even for long-term, long-range motions. We employ neural scene representations to parametrize the components of our method. Like prior dynamic-NeRF methods, we use a backwards deformation model. We find non-trivial adaptations of this model necessary to handle larger motions: We decompose the deformations into a strongly regularized coarse component and a weakly regularized fine component, where the coarse component also extends the deformation field into the space surrounding the object, which enables tracking over time. We show experimentally that, unlike prior work that only handles small motion, our method enables the reconstruction of studio-scale motions.