WideRange4D: 広範囲の動きとシーンを可能にする高品質4D再構成

WideRange4D: Enabling High-Quality 4D Reconstruction with Wide-Range Movements and Scenes

March 17, 2025

著者: Ling Yang, Kaixin Zhu, Juanxi Tian, Bohan Zeng, Mingbao Lin, Hongjuan Pei, Wentao Zhang, Shuicheng Yan

cs.AI

要旨

3D再構成技術の急速な発展に伴い、4D再構成の研究も進展しており、既存の4D再構成手法は高品質な4Dシーンを生成することが可能です。しかし、マルチビュービデオデータの取得が困難であるため、現在の4D再構成ベンチマークは主にダンスなどの限られたシナリオ内での動作を表示するものに留まっています。実際のシナリオでは、多くのシーンが広範囲の空間移動を伴うため、既存の4D再構成データセットの限界が顕著になっています。さらに、既存の4D再構成手法は変形フィールドに依存して3Dオブジェクトの動態を推定していますが、変形フィールドは広範囲の空間移動に対応するのが難しく、広範囲の空間移動を伴う高品質な4Dシーン再構成を実現する能力が制限されています。本論文では、オブジェクトの空間移動が顕著な4Dシーン再構成に焦点を当て、新たな4D再構成ベンチマークであるWideRange4Dを提案します。このベンチマークは、大きな空間変動を伴う豊富な4Dシーンデータを含んでおり、4D生成手法の生成能力をより包括的に評価することが可能です。さらに、様々な複雑な4Dシーン再構成タスクにおいて安定した高品質な4D結果を生成する新しい4D再構成手法、Progress4Dを導入します。WideRange4Dにおいて定量的および定性的な比較実験を行い、Progress4Dが既存の最先端の4D再構成手法を凌駕することを示します。プロジェクト: https://github.com/Gen-Verse/WideRange4D

English

With the rapid development of 3D reconstruction technology, research in 4D reconstruction is also advancing, existing 4D reconstruction methods can generate high-quality 4D scenes. However, due to the challenges in acquiring multi-view video data, the current 4D reconstruction benchmarks mainly display actions performed in place, such as dancing, within limited scenarios. In practical scenarios, many scenes involve wide-range spatial movements, highlighting the limitations of existing 4D reconstruction datasets. Additionally, existing 4D reconstruction methods rely on deformation fields to estimate the dynamics of 3D objects, but deformation fields struggle with wide-range spatial movements, which limits the ability to achieve high-quality 4D scene reconstruction with wide-range spatial movements. In this paper, we focus on 4D scene reconstruction with significant object spatial movements and propose a novel 4D reconstruction benchmark, WideRange4D. This benchmark includes rich 4D scene data with large spatial variations, allowing for a more comprehensive evaluation of the generation capabilities of 4D generation methods. Furthermore, we introduce a new 4D reconstruction method, Progress4D, which generates stable and high-quality 4D results across various complex 4D scene reconstruction tasks. We conduct both quantitative and qualitative comparison experiments on WideRange4D, showing that our Progress4D outperforms existing state-of-the-art 4D reconstruction methods. Project: https://github.com/Gen-Verse/WideRange4D