DressRecon: 単眼ビデオからの自由形式4D人間再構築

DressRecon: Freeform 4D Human Reconstruction from Monocular Video

September 30, 2024

著者: Jeff Tan, Donglai Xiang, Shubham Tulsiani, Deva Ramanan, Gengshan Yang

cs.AI

要旨

単眼ビデオから時間的整合性のある人体モデルを再構築する手法を提案します。この手法は、非常にゆるい衣類や手持ちの物体との相互作用に焦点を当てています。従来の人物再構築の研究は、通常は物体との相互作用のないタイトな衣類に限定されているか、または複数の視点でキャリブレーションされたキャプチャや個人用のテンプレートスキャンが必要であり、これらは大規模に収集するにはコストがかかります。高品質かつ柔軟な再構築を実現するための私たちの主要な洞察は、一般的な人体形状に関する事前知識（大規模なトレーニングデータから学習されたもの）と、ビデオ固有の関節付き「ボーンの袋」変形（テスト時最適化を介して単一のビデオに適合）を注意深く組み合わせることです。これを実現するために、体と衣類の変形を別々のモーションモデルレイヤーとして分離するニューラル暗黙モデルを学習します。衣類の微妙なジオメトリを捉えるために、最適化中に人体のポーズ、表面法線、光流などの画像ベースの事前知識を活用します。得られたニューラルフィールドは、時間的整合性のあるメッシュに抽出することができ、また、高品質なインタラクティブレンダリングのためにさらに3Dガウス関数として最適化することもできます。高度に挑戦的な衣類変形や物体との相互作用があるデータセットにおいて、DressReconは、従来の手法よりも高い忠実度の3D再構築を実現します。プロジェクトページ：https://jefftan969.github.io/dressrecon/

English

We present a method to reconstruct time-consistent human body models from monocular videos, focusing on extremely loose clothing or handheld object interactions. Prior work in human reconstruction is either limited to tight clothing with no object interactions, or requires calibrated multi-view captures or personalized template scans which are costly to collect at scale. Our key insight for high-quality yet flexible reconstruction is the careful combination of generic human priors about articulated body shape (learned from large-scale training data) with video-specific articulated "bag-of-bones" deformation (fit to a single video via test-time optimization). We accomplish this by learning a neural implicit model that disentangles body versus clothing deformations as separate motion model layers. To capture subtle geometry of clothing, we leverage image-based priors such as human body pose, surface normals, and optical flow during optimization. The resulting neural fields can be extracted into time-consistent meshes, or further optimized as explicit 3D Gaussians for high-fidelity interactive rendering. On datasets with highly challenging clothing deformations and object interactions, DressRecon yields higher-fidelity 3D reconstructions than prior art. Project page: https://jefftan969.github.io/dressrecon/