WideRange4D: Ermöglichung hochwertiger 4D-Rekonstruktion mit weitreichenden Bewegungen und Szenen

WideRange4D: Enabling High-Quality 4D Reconstruction with Wide-Range Movements and Scenes

March 17, 2025

Autoren: Ling Yang, Kaixin Zhu, Juanxi Tian, Bohan Zeng, Mingbao Lin, Hongjuan Pei, Wentao Zhang, Shuicheng Yan

cs.AI

Zusammenfassung

Mit der rasanten Entwicklung der 3D-Rekonstruktionstechnologie schreitet auch die Forschung im Bereich der 4D-Rekonstruktion voran. Bestehende 4D-Rekonstruktionsmethoden können hochwertige 4D-Szenen erzeugen. Aufgrund der Herausforderungen bei der Erfassung von Multi-View-Videodaten beschränken sich die aktuellen 4D-Rekonstruktions-Benchmarks jedoch hauptsächlich auf Aktionen, die an Ort und Stelle ausgeführt werden, wie beispielsweise Tanzen, innerhalb begrenzter Szenarien. In praktischen Anwendungen umfassen viele Szenen jedoch weiträumige räumliche Bewegungen, was die Grenzen der bestehenden 4D-Rekonstruktionsdatensätze deutlich macht. Darüber hinaus stützen sich bestehende 4D-Rekonstruktionsmethoden auf Deformationsfelder, um die Dynamik von 3D-Objekten zu schätzen. Deformationsfelder haben jedoch Schwierigkeiten mit weiträumigen räumlichen Bewegungen, was die Fähigkeit zur Erzeugung hochwertiger 4D-Szenenrekonstruktionen mit solchen Bewegungen einschränkt. In diesem Artikel konzentrieren wir uns auf die 4D-Szenenrekonstruktion mit signifikanten räumlichen Objektbewegungen und schlagen einen neuen 4D-Rekonstruktions-Benchmark vor, WideRange4D. Dieser Benchmark umfasst umfangreiche 4D-Szenendaten mit großen räumlichen Variationen, was eine umfassendere Bewertung der Generierungsfähigkeiten von 4D-Generierungsmethoden ermöglicht. Darüber hinaus stellen wir eine neue 4D-Rekonstruktionsmethode vor, Progress4D, die stabile und hochwertige 4D-Ergebnisse bei verschiedenen komplexen 4D-Szenenrekonstruktionsaufgaben erzeugt. Wir führen sowohl quantitative als auch qualitative Vergleichsexperimente auf WideRange4D durch, die zeigen, dass unser Progress4D die bestehenden state-of-the-art 4D-Rekonstruktionsmethoden übertrifft. Projekt: https://github.com/Gen-Verse/WideRange4D

English

With the rapid development of 3D reconstruction technology, research in 4D reconstruction is also advancing, existing 4D reconstruction methods can generate high-quality 4D scenes. However, due to the challenges in acquiring multi-view video data, the current 4D reconstruction benchmarks mainly display actions performed in place, such as dancing, within limited scenarios. In practical scenarios, many scenes involve wide-range spatial movements, highlighting the limitations of existing 4D reconstruction datasets. Additionally, existing 4D reconstruction methods rely on deformation fields to estimate the dynamics of 3D objects, but deformation fields struggle with wide-range spatial movements, which limits the ability to achieve high-quality 4D scene reconstruction with wide-range spatial movements. In this paper, we focus on 4D scene reconstruction with significant object spatial movements and propose a novel 4D reconstruction benchmark, WideRange4D. This benchmark includes rich 4D scene data with large spatial variations, allowing for a more comprehensive evaluation of the generation capabilities of 4D generation methods. Furthermore, we introduce a new 4D reconstruction method, Progress4D, which generates stable and high-quality 4D results across various complex 4D scene reconstruction tasks. We conduct both quantitative and qualitative comparison experiments on WideRange4D, showing that our Progress4D outperforms existing state-of-the-art 4D reconstruction methods. Project: https://github.com/Gen-Verse/WideRange4D