SceNeRFlow: 一般的な動的シーンの時間整合性を考慮した再構成

SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes

August 16, 2023

著者: Edith Tretschk, Vladislav Golyanik, Michael Zollhoefer, Aljaz Bozic, Christoph Lassner, Christian Theobalt

cs.AI

要旨

一般の非剛体変形オブジェクトに対する4D再構成の既存手法は、新規視点合成に焦点を当て、対応関係を軽視してきた。しかし、時間的一貫性は3D編集、運動分析、仮想アセット作成などの高度な下流タスクを可能にする。本研究では、時間的一貫性のある方法で一般的な非剛体シーンを再構成するSceNeRFlowを提案する。私たちの動的NeRF手法は、既知のカメラパラメータを持つ静止カメラからのマルチビューRGBビデオと背景画像を入力として受け取る。その後、幾何学と外観の推定正準モデルの変形をオンライン方式で再構成する。この正準モデルは時間不変であるため、長期的かつ大規模な運動に対しても対応関係を得ることができる。 私たちは手法の構成要素をパラメータ化するために神経シーン表現を採用する。従来の動的NeRF手法と同様に、後方変形モデルを使用する。より大きな動きを扱うためには、このモデルの非自明な適応が必要であることを見出した：変形を強正則化された粗い成分と弱正則化された細かい成分に分解し、粗い成分は物体周囲の空間まで変形場を拡張する。これにより時間的な追跡が可能となる。小規模な動きのみを扱う従来研究とは異なり、私たちの手法がスタジオ規模の運動の再構成を可能にすることを実験的に示す。

English

Existing methods for the 4D reconstruction of general, non-rigidly deforming objects focus on novel-view synthesis and neglect correspondences. However, time consistency enables advanced downstream tasks like 3D editing, motion analysis, or virtual-asset creation. We propose SceNeRFlow to reconstruct a general, non-rigid scene in a time-consistent manner. Our dynamic-NeRF method takes multi-view RGB videos and background images from static cameras with known camera parameters as input. It then reconstructs the deformations of an estimated canonical model of the geometry and appearance in an online fashion. Since this canonical model is time-invariant, we obtain correspondences even for long-term, long-range motions. We employ neural scene representations to parametrize the components of our method. Like prior dynamic-NeRF methods, we use a backwards deformation model. We find non-trivial adaptations of this model necessary to handle larger motions: We decompose the deformations into a strongly regularized coarse component and a weakly regularized fine component, where the coarse component also extends the deformation field into the space surrounding the object, which enables tracking over time. We show experimentally that, unlike prior work that only handles small motion, our method enables the reconstruction of studio-scale motions.