SceNeRFlow: 일반적인 동적 장면의 시간 일관성 재구성

SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes

August 16, 2023

저자: Edith Tretschk, Vladislav Golyanik, Michael Zollhoefer, Aljaz Bozic, Christoph Lassner, Christian Theobalt

cs.AI

초록

일반적이고 비강체적으로 변형되는 객체의 4D 재구성을 위한 기존 방법들은 새로운 시점 합성에 초점을 맞추고 대응 관계를 소홀히 해왔습니다. 그러나 시간 일관성은 3D 편집, 동작 분석 또는 가상 자산 생성과 같은 고급 하위 작업을 가능하게 합니다. 우리는 시간적으로 일관된 방식으로 일반적인 비강체 장면을 재구성하기 위해 SceNeRFlow를 제안합니다. 우리의 동적-NeRF 방법은 알려진 카메라 파라미터를 가진 정적 카메라로부터 다중 시점 RGB 비디오와 배경 이미지를 입력으로 받습니다. 그런 다음, 기하학적 구조와 외관의 추정된 표준 모델의 변형을 온라인 방식으로 재구성합니다. 이 표준 모델은 시간 불변이므로 장기적이고 장거리 동작에 대해서도 대응 관계를 얻을 수 있습니다. 우리는 방법의 구성 요소를 매개변수화하기 위해 신경망 장면 표현을 사용합니다. 기존의 동적-NeRF 방법과 마찬가지로, 우리는 역방향 변형 모델을 사용합니다. 우리는 더 큰 동작을 처리하기 위해 이 모델의 중요한 적응이 필요함을 발견했습니다: 우리는 변형을 강하게 정규화된 거친 구성 요소와 약하게 정규화된 세밀한 구성 요소로 분해하며, 여기서 거친 구성 요소는 객체 주변 공간으로 변형 필드를 확장하여 시간에 따른 추적을 가능하게 합니다. 우리는 실험적으로, 작은 동작만을 처리하는 기존 작업과 달리 우리의 방법이 스튜디오 규모의 동작 재구성을 가능하게 함을 보여줍니다.

English

Existing methods for the 4D reconstruction of general, non-rigidly deforming objects focus on novel-view synthesis and neglect correspondences. However, time consistency enables advanced downstream tasks like 3D editing, motion analysis, or virtual-asset creation. We propose SceNeRFlow to reconstruct a general, non-rigid scene in a time-consistent manner. Our dynamic-NeRF method takes multi-view RGB videos and background images from static cameras with known camera parameters as input. It then reconstructs the deformations of an estimated canonical model of the geometry and appearance in an online fashion. Since this canonical model is time-invariant, we obtain correspondences even for long-term, long-range motions. We employ neural scene representations to parametrize the components of our method. Like prior dynamic-NeRF methods, we use a backwards deformation model. We find non-trivial adaptations of this model necessary to handle larger motions: We decompose the deformations into a strongly regularized coarse component and a weakly regularized fine component, where the coarse component also extends the deformation field into the space surrounding the object, which enables tracking over time. We show experimentally that, unlike prior work that only handles small motion, our method enables the reconstruction of studio-scale motions.