WideRange4D: Habilitando Reconstrucción 4D de Alta Calidad con Movimientos y Escenas de Amplio Rango

WideRange4D: Enabling High-Quality 4D Reconstruction with Wide-Range Movements and Scenes

March 17, 2025

Autores: Ling Yang, Kaixin Zhu, Juanxi Tian, Bohan Zeng, Mingbao Lin, Hongjuan Pei, Wentao Zhang, Shuicheng Yan

cs.AI

Resumen

Con el rápido desarrollo de la tecnología de reconstrucción 3D, la investigación en reconstrucción 4D también está avanzando. Los métodos existentes de reconstrucción 4D pueden generar escenas 4D de alta calidad. Sin embargo, debido a los desafíos en la adquisición de datos de video multivista, los benchmarks actuales de reconstrucción 4D muestran principalmente acciones realizadas en un mismo lugar, como bailar, dentro de escenarios limitados. En escenarios prácticos, muchas escenas implican movimientos espaciales de gran alcance, lo que resalta las limitaciones de los conjuntos de datos existentes de reconstrucción 4D. Además, los métodos actuales de reconstrucción 4D dependen de campos de deformación para estimar la dinámica de objetos 3D, pero estos campos tienen dificultades con movimientos espaciales de gran alcance, lo que limita la capacidad de lograr una reconstrucción 4D de alta calidad con dichos movimientos. En este artículo, nos enfocamos en la reconstrucción de escenas 4D con movimientos espaciales significativos de objetos y proponemos un nuevo benchmark de reconstrucción 4D, WideRange4D. Este benchmark incluye datos de escenas 4D con grandes variaciones espaciales, permitiendo una evaluación más completa de las capacidades de generación de los métodos de generación 4D. Además, presentamos un nuevo método de reconstrucción 4D, Progress4D, que genera resultados 4D estables y de alta calidad en diversas tareas complejas de reconstrucción de escenas 4D. Realizamos experimentos de comparación cuantitativos y cualitativos en WideRange4D, demostrando que nuestro Progress4D supera a los métodos de reconstrucción 4D más avanzados existentes. Proyecto: https://github.com/Gen-Verse/WideRange4D

English

With the rapid development of 3D reconstruction technology, research in 4D reconstruction is also advancing, existing 4D reconstruction methods can generate high-quality 4D scenes. However, due to the challenges in acquiring multi-view video data, the current 4D reconstruction benchmarks mainly display actions performed in place, such as dancing, within limited scenarios. In practical scenarios, many scenes involve wide-range spatial movements, highlighting the limitations of existing 4D reconstruction datasets. Additionally, existing 4D reconstruction methods rely on deformation fields to estimate the dynamics of 3D objects, but deformation fields struggle with wide-range spatial movements, which limits the ability to achieve high-quality 4D scene reconstruction with wide-range spatial movements. In this paper, we focus on 4D scene reconstruction with significant object spatial movements and propose a novel 4D reconstruction benchmark, WideRange4D. This benchmark includes rich 4D scene data with large spatial variations, allowing for a more comprehensive evaluation of the generation capabilities of 4D generation methods. Furthermore, we introduce a new 4D reconstruction method, Progress4D, which generates stable and high-quality 4D results across various complex 4D scene reconstruction tasks. We conduct both quantitative and qualitative comparison experiments on WideRange4D, showing that our Progress4D outperforms existing state-of-the-art 4D reconstruction methods. Project: https://github.com/Gen-Verse/WideRange4D