SceNeRFlow : Reconstruction temporellement cohérente de scènes dynamiques générales

SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes

August 16, 2023

Auteurs: Edith Tretschk, Vladislav Golyanik, Michael Zollhoefer, Aljaz Bozic, Christoph Lassner, Christian Theobalt

cs.AI

Résumé

Les méthodes existantes pour la reconstruction 4D d'objets généraux se déformant de manière non rigide se concentrent sur la synthèse de nouvelles vues et négligent les correspondances. Cependant, la cohérence temporelle permet des tâches avancées telles que l'édition 3D, l'analyse du mouvement ou la création d'actifs virtuels. Nous proposons SceNeRFlow pour reconstruire une scène générale non rigide de manière cohérente dans le temps. Notre méthode Dynamic-NeRF prend en entrée des vidéos RGB multi-vues et des images de fond provenant de caméras statiques avec des paramètres de caméra connus. Elle reconstruit ensuite les déformations d'un modèle canonique estimé de la géométrie et de l'apparence de manière en ligne. Comme ce modèle canonique est invariant dans le temps, nous obtenons des correspondances même pour des mouvements de longue durée et de grande amplitude. Nous utilisons des représentations neuronales de scène pour paramétrer les composants de notre méthode. Comme les méthodes Dynamic-NeRF précédentes, nous utilisons un modèle de déformation inverse. Nous constatons que des adaptations non triviales de ce modèle sont nécessaires pour gérer des mouvements plus importants : nous décomposons les déformations en une composante grossière fortement régularisée et une composante fine faiblement régularisée, où la composante grossière étend également le champ de déformation dans l'espace entourant l'objet, ce qui permet un suivi dans le temps. Nous montrons expérimentalement que, contrairement aux travaux précédents qui ne gèrent que de petits mouvements, notre méthode permet la reconstruction de mouvements à l'échelle d'un studio.

English

Existing methods for the 4D reconstruction of general, non-rigidly deforming objects focus on novel-view synthesis and neglect correspondences. However, time consistency enables advanced downstream tasks like 3D editing, motion analysis, or virtual-asset creation. We propose SceNeRFlow to reconstruct a general, non-rigid scene in a time-consistent manner. Our dynamic-NeRF method takes multi-view RGB videos and background images from static cameras with known camera parameters as input. It then reconstructs the deformations of an estimated canonical model of the geometry and appearance in an online fashion. Since this canonical model is time-invariant, we obtain correspondences even for long-term, long-range motions. We employ neural scene representations to parametrize the components of our method. Like prior dynamic-NeRF methods, we use a backwards deformation model. We find non-trivial adaptations of this model necessary to handle larger motions: We decompose the deformations into a strongly regularized coarse component and a weakly regularized fine component, where the coarse component also extends the deformation field into the space surrounding the object, which enables tracking over time. We show experimentally that, unlike prior work that only handles small motion, our method enables the reconstruction of studio-scale motions.