WideRange4D: Mogelijk maken van hoogwaardige 4D-reconstructie met brede bewegingsbereiken en scènes

WideRange4D: Enabling High-Quality 4D Reconstruction with Wide-Range Movements and Scenes

March 17, 2025

Auteurs: Ling Yang, Kaixin Zhu, Juanxi Tian, Bohan Zeng, Mingbao Lin, Hongjuan Pei, Wentao Zhang, Shuicheng Yan

cs.AI

Samenvatting

Met de snelle ontwikkeling van 3D-reconstructietechnologie vordert ook het onderzoek naar 4D-reconstructie. Bestaande 4D-reconstructiemethoden kunnen hoogwaardige 4D-scènes genereren. Echter, vanwege de uitdagingen bij het verkrijgen van multi-view videodata, tonen de huidige 4D-reconstructiebenchmarks voornamelijk acties die ter plaatse worden uitgevoerd, zoals dansen, binnen beperkte scenario's. In praktijkscenario's omvatten veel scènes echter ruimtelijke bewegingen over een groot gebied, wat de beperkingen van bestaande 4D-reconstructiedatasets benadrukt. Bovendien vertrouwen bestaande 4D-reconstructiemethoden op vervormingsvelden om de dynamiek van 3D-objecten te schatten, maar vervormingsvelden hebben moeite met ruimtelijke bewegingen over een groot gebied, wat de mogelijkheid beperkt om hoogwaardige 4D-scènereconstructie met dergelijke bewegingen te bereiken. In dit artikel richten we ons op 4D-scènereconstructie met significante ruimtelijke bewegingen van objecten en introduceren we een nieuwe 4D-reconstructiebenchmark, WideRange4D. Deze benchmark omvat rijke 4D-scènedata met grote ruimtelijke variaties, waardoor een uitgebreidere evaluatie van de generatiecapaciteiten van 4D-generatiemethoden mogelijk is. Daarnaast introduceren we een nieuwe 4D-reconstructiemethode, Progress4D, die stabiele en hoogwaardige 4D-resultaten genereert bij diverse complexe 4D-scènereconstructietaken. We voeren zowel kwantitatieve als kwalitatieve vergelijkende experimenten uit op WideRange4D, waaruit blijkt dat onze Progress4D de bestaande state-of-the-art 4D-reconstructiemethoden overtreft. Project: https://github.com/Gen-Verse/WideRange4D

English

With the rapid development of 3D reconstruction technology, research in 4D reconstruction is also advancing, existing 4D reconstruction methods can generate high-quality 4D scenes. However, due to the challenges in acquiring multi-view video data, the current 4D reconstruction benchmarks mainly display actions performed in place, such as dancing, within limited scenarios. In practical scenarios, many scenes involve wide-range spatial movements, highlighting the limitations of existing 4D reconstruction datasets. Additionally, existing 4D reconstruction methods rely on deformation fields to estimate the dynamics of 3D objects, but deformation fields struggle with wide-range spatial movements, which limits the ability to achieve high-quality 4D scene reconstruction with wide-range spatial movements. In this paper, we focus on 4D scene reconstruction with significant object spatial movements and propose a novel 4D reconstruction benchmark, WideRange4D. This benchmark includes rich 4D scene data with large spatial variations, allowing for a more comprehensive evaluation of the generation capabilities of 4D generation methods. Furthermore, we introduce a new 4D reconstruction method, Progress4D, which generates stable and high-quality 4D results across various complex 4D scene reconstruction tasks. We conduct both quantitative and qualitative comparison experiments on WideRange4D, showing that our Progress4D outperforms existing state-of-the-art 4D reconstruction methods. Project: https://github.com/Gen-Verse/WideRange4D