WideRange4D: Abilitazione di Ricostruzioni 4D di Alta Qualità con Movimenti e Scene ad Ampio Raggio

WideRange4D: Enabling High-Quality 4D Reconstruction with Wide-Range Movements and Scenes

March 17, 2025

Autori: Ling Yang, Kaixin Zhu, Juanxi Tian, Bohan Zeng, Mingbao Lin, Hongjuan Pei, Wentao Zhang, Shuicheng Yan

cs.AI

Abstract

Con il rapido sviluppo della tecnologia di ricostruzione 3D, anche la ricerca nella ricostruzione 4D sta progredendo. I metodi esistenti di ricostruzione 4D sono in grado di generare scene 4D di alta qualità. Tuttavia, a causa delle difficoltà nell'acquisizione di dati video multi-vista, gli attuali benchmark di ricostruzione 4D mostrano principalmente azioni eseguite in posizione, come la danza, all'interno di scenari limitati. Negli scenari pratici, molte scene coinvolgono movimenti spaziali su ampia scala, evidenziando i limiti dei dataset di ricostruzione 4D esistenti. Inoltre, i metodi di ricostruzione 4D esistenti si basano su campi di deformazione per stimare la dinamica degli oggetti 3D, ma i campi di deformazione faticano a gestire movimenti spaziali su ampia scala, il che limita la capacità di ottenere una ricostruzione 4D di alta qualità con movimenti spaziali estesi. In questo articolo, ci concentriamo sulla ricostruzione 4D di scene con significativi movimenti spaziali degli oggetti e proponiamo un nuovo benchmark di ricostruzione 4D, WideRange4D. Questo benchmark include dati di scene 4D ricchi di variazioni spaziali ampie, consentendo una valutazione più completa delle capacità di generazione dei metodi di generazione 4D. Inoltre, introduciamo un nuovo metodo di ricostruzione 4D, Progress4D, che genera risultati 4D stabili e di alta qualità in vari compiti complessi di ricostruzione 4D. Conduriamo esperimenti di confronto quantitativi e qualitativi su WideRange4D, dimostrando che il nostro Progress4D supera i metodi di ricostruzione 4D all'avanguardia esistenti. Progetto: https://github.com/Gen-Verse/WideRange4D

English

With the rapid development of 3D reconstruction technology, research in 4D reconstruction is also advancing, existing 4D reconstruction methods can generate high-quality 4D scenes. However, due to the challenges in acquiring multi-view video data, the current 4D reconstruction benchmarks mainly display actions performed in place, such as dancing, within limited scenarios. In practical scenarios, many scenes involve wide-range spatial movements, highlighting the limitations of existing 4D reconstruction datasets. Additionally, existing 4D reconstruction methods rely on deformation fields to estimate the dynamics of 3D objects, but deformation fields struggle with wide-range spatial movements, which limits the ability to achieve high-quality 4D scene reconstruction with wide-range spatial movements. In this paper, we focus on 4D scene reconstruction with significant object spatial movements and propose a novel 4D reconstruction benchmark, WideRange4D. This benchmark includes rich 4D scene data with large spatial variations, allowing for a more comprehensive evaluation of the generation capabilities of 4D generation methods. Furthermore, we introduce a new 4D reconstruction method, Progress4D, which generates stable and high-quality 4D results across various complex 4D scene reconstruction tasks. We conduct both quantitative and qualitative comparison experiments on WideRange4D, showing that our Progress4D outperforms existing state-of-the-art 4D reconstruction methods. Project: https://github.com/Gen-Verse/WideRange4D