WideRange4D: 광범위한 움직임과 장면에서 고품질 4D 재구성 가능

WideRange4D: Enabling High-Quality 4D Reconstruction with Wide-Range Movements and Scenes

March 17, 2025

저자: Ling Yang, Kaixin Zhu, Juanxi Tian, Bohan Zeng, Mingbao Lin, Hongjuan Pei, Wentao Zhang, Shuicheng Yan

cs.AI

초록

3D 재구성 기술의 급속한 발전과 함께 4D 재구성 연구도 진전을 보이고 있으며, 기존의 4D 재구성 방법들은 고품질의 4D 장면을 생성할 수 있습니다. 그러나 다중 시점 비디오 데이터 획득의 어려움으로 인해, 현재의 4D 재구성 벤치마크는 주로 제자리에서 수행되는 동작(예: 춤)을 제한된 시나리오 내에서 보여주는 데 그치고 있습니다. 실제 시나리오에서는 많은 장면이 광범위한 공간 이동을 포함하고 있어, 기존 4D 재구성 데이터셋의 한계가 두드러지게 됩니다. 또한, 기존의 4D 재구성 방법들은 3D 객체의 동역학을 추정하기 위해 변형 필드(deformation field)에 의존하지만, 변형 필드는 광범위한 공간 이동을 처리하는 데 어려움을 겪어, 광범위한 공간 이동을 포함한 고품질 4D 장면 재구성을 달성하는 데 제약이 있습니다. 본 논문에서는 상당한 객체 공간 이동을 포함하는 4D 장면 재구성에 초점을 맞추고, 새로운 4D 재구성 벤치마크인 WideRange4D를 제안합니다. 이 벤치마크는 큰 공간 변화를 포함한 풍부한 4D 장면 데이터를 포함하여, 4D 생성 방법의 생성 능력을 보다 포괄적으로 평가할 수 있게 합니다. 더불어, 다양한 복잡한 4D 장면 재구성 작업에서 안정적이고 고품질의 4D 결과를 생성하는 새로운 4D 재구성 방법인 Progress4D를 소개합니다. WideRange4D에서 정량적 및 정성적 비교 실험을 수행한 결과, 우리의 Progress4D가 기존의 최신 4D 재구성 방법들을 능가하는 성능을 보임을 확인했습니다. 프로젝트: https://github.com/Gen-Verse/WideRange4D

English

With the rapid development of 3D reconstruction technology, research in 4D reconstruction is also advancing, existing 4D reconstruction methods can generate high-quality 4D scenes. However, due to the challenges in acquiring multi-view video data, the current 4D reconstruction benchmarks mainly display actions performed in place, such as dancing, within limited scenarios. In practical scenarios, many scenes involve wide-range spatial movements, highlighting the limitations of existing 4D reconstruction datasets. Additionally, existing 4D reconstruction methods rely on deformation fields to estimate the dynamics of 3D objects, but deformation fields struggle with wide-range spatial movements, which limits the ability to achieve high-quality 4D scene reconstruction with wide-range spatial movements. In this paper, we focus on 4D scene reconstruction with significant object spatial movements and propose a novel 4D reconstruction benchmark, WideRange4D. This benchmark includes rich 4D scene data with large spatial variations, allowing for a more comprehensive evaluation of the generation capabilities of 4D generation methods. Furthermore, we introduce a new 4D reconstruction method, Progress4D, which generates stable and high-quality 4D results across various complex 4D scene reconstruction tasks. We conduct both quantitative and qualitative comparison experiments on WideRange4D, showing that our Progress4D outperforms existing state-of-the-art 4D reconstruction methods. Project: https://github.com/Gen-Verse/WideRange4D