低重複撮影からの4D人間-シーン再構成

要旨

既存の動的人物パフォーマンスのボリュメトリックキャプチャは、密なカメラアレイを用いることで高い忠実度を達成しています。しかし、現実世界のシナリオでは、重なり合いの少ない少数のカメラしか利用できず、出力品質が低下し、広い領域が観測されないままになります。最近の4D再構成手法は低オーバーラップ設定に焦点を当てていますが、観測不十分な領域では依然として顕著なアーティファクトが生じます。ビデオ拡散モデルも別の選択肢として登場していますが、人物に対して幾何学的に一貫性のない結果を示します。これらの制約に対処するため、我々はStudioReconを提案します。これは、背景と人物を分離することで、スパースで低オーバーラップなカメラから4D人物シーンを再構成するパイプラインです。ビデオ拡散モデルを用いてカメラ制御された数百の新規ビューを合成することで、背景の教師信号を高密度化します。また、クロスビューID対応付けと三角測量によるマルチビューキーポイントフィッティングを用いて、変形可能なガウス人体表現をロバストに初期化します。最後に、動作適応的一貫性注入を備えた再帰的拡張モジュールが、合成された出力を調和させ、残存するアーティファクトをさらに回避します。我々は4つの実世界データセットにおいて最先端の新規ビュー合成を達成し、新規軌跡レンダリングや人物置換といった応用を実証します。

English

Existing volumetric capture of dynamic human performance achieves high fidelity with dense camera arrays. However, in real-world scenarios, only a handful of low-overlap cameras are available, which degrades the output quality and leaves large areas unobserved. Recent 4D reconstruction methods have focused on low-overlap settings, yet they still produce noticeable artifacts in under-observed regions. Video diffusion models have emerged as another option, but they show geometrically inconsistent results for humans. To address these limitations, we propose StudioRecon, a pipeline that reconstructs 4D human scenes from sparse, low-overlap cameras by decoupling background and humans. We densify background supervision by synthesizing hundreds of camera-controlled novel views with a video diffusion model. We also robustly initialize deformable Gaussian humans with cross-view identity association and triangulated multi-view keypoint fitting. Finally, our recursive enhancement module with motion-adaptive consistency injection harmonizes the composed output, thereby further avoiding remaining artifacts. We achieve state-of-the-art novel view synthesis across four real-world datasets and demonstrate applications such as novel trajectory rendering and human replacement.

低重複撮影からの4D人間-シーン再構成

4D Human-Scene Reconstruction from Low-Overlap Captures

要旨

Support