WideRange4D : Permettant une reconstruction 4D de haute qualité avec des mouvements et des scènes à large amplitude

WideRange4D: Enabling High-Quality 4D Reconstruction with Wide-Range Movements and Scenes

March 17, 2025

Auteurs: Ling Yang, Kaixin Zhu, Juanxi Tian, Bohan Zeng, Mingbao Lin, Hongjuan Pei, Wentao Zhang, Shuicheng Yan

cs.AI

Résumé

Avec le développement rapide de la technologie de reconstruction 3D, la recherche en reconstruction 4D progresse également. Les méthodes existantes de reconstruction 4D peuvent générer des scènes 4D de haute qualité. Cependant, en raison des difficultés liées à l'acquisition de données vidéo multi-vues, les benchmarks actuels de reconstruction 4D se concentrent principalement sur des actions réalisées sur place, comme la danse, dans des scénarios limités. Dans des scénarios pratiques, de nombreuses scènes impliquent des mouvements spatiaux à grande échelle, mettant en lumière les limites des ensembles de données de reconstruction 4D existants. De plus, les méthodes actuelles de reconstruction 4D s'appuient sur des champs de déformation pour estimer la dynamique des objets 3D, mais ces champs de déformation peinent à gérer les mouvements spatiaux à grande échelle, ce qui limite la capacité à obtenir une reconstruction 4D de haute qualité pour ces mouvements. Dans cet article, nous nous concentrons sur la reconstruction 4D de scènes avec des mouvements spatiaux significatifs des objets et proposons un nouveau benchmark de reconstruction 4D, WideRange4D. Ce benchmark inclut des données de scènes 4D riches en variations spatiales importantes, permettant une évaluation plus complète des capacités de génération des méthodes de génération 4D. Par ailleurs, nous introduisons une nouvelle méthode de reconstruction 4D, Progress4D, qui génère des résultats 4D stables et de haute qualité pour diverses tâches complexes de reconstruction 4D. Nous menons des expériences comparatives quantitatives et qualitatives sur WideRange4D, montrant que notre méthode Progress4D surpasse les méthodes de reconstruction 4D existantes de pointe. Projet : https://github.com/Gen-Verse/WideRange4D

English

With the rapid development of 3D reconstruction technology, research in 4D reconstruction is also advancing, existing 4D reconstruction methods can generate high-quality 4D scenes. However, due to the challenges in acquiring multi-view video data, the current 4D reconstruction benchmarks mainly display actions performed in place, such as dancing, within limited scenarios. In practical scenarios, many scenes involve wide-range spatial movements, highlighting the limitations of existing 4D reconstruction datasets. Additionally, existing 4D reconstruction methods rely on deformation fields to estimate the dynamics of 3D objects, but deformation fields struggle with wide-range spatial movements, which limits the ability to achieve high-quality 4D scene reconstruction with wide-range spatial movements. In this paper, we focus on 4D scene reconstruction with significant object spatial movements and propose a novel 4D reconstruction benchmark, WideRange4D. This benchmark includes rich 4D scene data with large spatial variations, allowing for a more comprehensive evaluation of the generation capabilities of 4D generation methods. Furthermore, we introduce a new 4D reconstruction method, Progress4D, which generates stable and high-quality 4D results across various complex 4D scene reconstruction tasks. We conduct both quantitative and qualitative comparison experiments on WideRange4D, showing that our Progress4D outperforms existing state-of-the-art 4D reconstruction methods. Project: https://github.com/Gen-Verse/WideRange4D