SceNeRFlow: 一般的な動的シーンの時間整合性を保った再構成

SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes

August 16, 2023

著者: Edith Tretschk, Vladislav Golyanik, Michael Zollhoefer, Aljaz Bozic, Christoph Lassner, Christian Theobalt

cs.AI

要旨

一般的な非剛体変形物体の4D再構築に関する既存の手法は、新規視点合成に焦点を当て、対応関係を軽視してきました。しかし、時間的一貫性は、3D編集、モーション分析、仮想アセット作成などの高度な下流タスクを可能にします。本研究では、時間的一貫性を持った一般的な非剛体シーンの再構築を実現するSceNeRFlowを提案します。私たちの動的NeRF手法は、既知のカメラパラメータを持つ固定カメラからのマルチビューRGB動画と背景画像を入力として受け取り、オンライン方式で幾何学と外観の推定正準モデルの変形を再構築します。この正準モデルは時間不変であるため、長期間にわたる長距離の動きに対しても対応関係を得ることができます。私たちは、手法の構成要素をパラメータ化するためにニューラルシーン表現を採用しています。従来の動的NeRF手法と同様に、後方変形モデルを使用しますが、より大きな動きを扱うためにはこのモデルの非自明な適応が必要であることがわかりました。具体的には、変形を強く正則化された粗い成分と弱く正則化された細かい成分に分解し、粗い成分は物体周囲の空間まで変形場を拡張することで、時間経過に伴う追跡を可能にします。実験的に、小さな動きしか扱えない従来の手法とは異なり、私たちの手法がスタジオ規模の動きの再構築を可能にすることを示します。

English

Existing methods for the 4D reconstruction of general, non-rigidly deforming objects focus on novel-view synthesis and neglect correspondences. However, time consistency enables advanced downstream tasks like 3D editing, motion analysis, or virtual-asset creation. We propose SceNeRFlow to reconstruct a general, non-rigid scene in a time-consistent manner. Our dynamic-NeRF method takes multi-view RGB videos and background images from static cameras with known camera parameters as input. It then reconstructs the deformations of an estimated canonical model of the geometry and appearance in an online fashion. Since this canonical model is time-invariant, we obtain correspondences even for long-term, long-range motions. We employ neural scene representations to parametrize the components of our method. Like prior dynamic-NeRF methods, we use a backwards deformation model. We find non-trivial adaptations of this model necessary to handle larger motions: We decompose the deformations into a strongly regularized coarse component and a weakly regularized fine component, where the coarse component also extends the deformation field into the space surrounding the object, which enables tracking over time. We show experimentally that, unlike prior work that only handles small motion, our method enables the reconstruction of studio-scale motions.