SceNeRFlow: Zeitkonsistente Rekonstruktion allgemeiner dynamischer Szenen

SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes

August 16, 2023

Autoren: Edith Tretschk, Vladislav Golyanik, Michael Zollhoefer, Aljaz Bozic, Christoph Lassner, Christian Theobalt

cs.AI

Zusammenfassung

Bestehende Methoden für die 4D-Rekonstruktion von allgemeinen, nicht starr deformierenden Objekten konzentrieren sich auf die Synthese neuer Ansichten und vernachlässigen Korrespondenzen. Zeitliche Konsistenz ermöglicht jedoch fortgeschrittene nachgelagerte Aufgaben wie 3D-Bearbeitung, Bewegungsanalyse oder die Erstellung virtueller Assets. Wir schlagen SceNeRFlow vor, um eine allgemeine, nicht starre Szene in einer zeitlich konsistenten Weise zu rekonstruieren. Unsere dynamische-NeRF-Methode nimmt Multi-View-RGB-Videos und Hintergrundbilder von statischen Kameras mit bekannten Kameraparametern als Eingabe. Sie rekonstruiert dann die Deformationen eines geschätzten kanonischen Modells der Geometrie und des Erscheinungsbilds in Echtzeit. Da dieses kanonische Modell zeitinvariant ist, erhalten wir Korrespondenzen auch für langfristige, weitreichende Bewegungen. Wir verwenden neuronale Szenendarstellungen, um die Komponenten unserer Methode zu parametrisieren. Wie bei früheren dynamischen-NeRF-Methoden verwenden wir ein rückwärtsgerichtetes Deformationsmodell. Wir stellen fest, dass nicht-triviale Anpassungen dieses Modells notwendig sind, um größere Bewegungen zu handhaben: Wir zerlegen die Deformationen in eine stark regularisierte grobe Komponente und eine schwach regularisierte feine Komponente, wobei die grobe Komponente das Deformationsfeld auch in den Raum um das Objekt herum erweitert, was die Verfolgung über die Zeit ermöglicht. Wir zeigen experimentell, dass unsere Methode im Gegensatz zu früheren Arbeiten, die nur kleine Bewegungen handhaben, die Rekonstruktion von Studio-skaligen Bewegungen ermöglicht.

English

Existing methods for the 4D reconstruction of general, non-rigidly deforming objects focus on novel-view synthesis and neglect correspondences. However, time consistency enables advanced downstream tasks like 3D editing, motion analysis, or virtual-asset creation. We propose SceNeRFlow to reconstruct a general, non-rigid scene in a time-consistent manner. Our dynamic-NeRF method takes multi-view RGB videos and background images from static cameras with known camera parameters as input. It then reconstructs the deformations of an estimated canonical model of the geometry and appearance in an online fashion. Since this canonical model is time-invariant, we obtain correspondences even for long-term, long-range motions. We employ neural scene representations to parametrize the components of our method. Like prior dynamic-NeRF methods, we use a backwards deformation model. We find non-trivial adaptations of this model necessary to handle larger motions: We decompose the deformations into a strongly regularized coarse component and a weakly regularized fine component, where the coarse component also extends the deformation field into the space surrounding the object, which enables tracking over time. We show experimentally that, unlike prior work that only handles small motion, our method enables the reconstruction of studio-scale motions.