WideRange4D: Permitindo Reconstrução 4D de Alta Qualidade com Movimentos e Cenários de Amplo Alcance

WideRange4D: Enabling High-Quality 4D Reconstruction with Wide-Range Movements and Scenes

March 17, 2025

Autores: Ling Yang, Kaixin Zhu, Juanxi Tian, Bohan Zeng, Mingbao Lin, Hongjuan Pei, Wentao Zhang, Shuicheng Yan

cs.AI

Resumo

Com o rápido desenvolvimento da tecnologia de reconstrução 3D, a pesquisa em reconstrução 4D também está avançando. Os métodos existentes de reconstrução 4D podem gerar cenas 4D de alta qualidade. No entanto, devido aos desafios na aquisição de dados de vídeo multivista, os benchmarks atuais de reconstrução 4D exibem principalmente ações realizadas no mesmo local, como danças, dentro de cenários limitados. Em cenários práticos, muitas cenas envolvem movimentos espaciais amplos, destacando as limitações dos conjuntos de dados de reconstrução 4D existentes. Além disso, os métodos atuais de reconstrução 4D dependem de campos de deformação para estimar a dinâmica de objetos 3D, mas esses campos têm dificuldade em lidar com movimentos espaciais amplos, o que limita a capacidade de alcançar uma reconstrução 4D de alta qualidade com tais movimentos. Neste artigo, focamos na reconstrução 4D de cenas com movimentos espaciais significativos de objetos e propomos um novo benchmark de reconstrução 4D, o WideRange4D. Este benchmark inclui dados ricos de cenas 4D com grandes variações espaciais, permitindo uma avaliação mais abrangente das capacidades de geração de métodos de geração 4D. Além disso, introduzimos um novo método de reconstrução 4D, o Progress4D, que gera resultados 4D estáveis e de alta qualidade em várias tarefas complexas de reconstrução de cenas 4D. Realizamos experimentos de comparação quantitativos e qualitativos no WideRange4D, mostrando que nosso Progress4D supera os métodos de reconstrução 4D mais avançados existentes. Projeto: https://github.com/Gen-Verse/WideRange4D

English

With the rapid development of 3D reconstruction technology, research in 4D reconstruction is also advancing, existing 4D reconstruction methods can generate high-quality 4D scenes. However, due to the challenges in acquiring multi-view video data, the current 4D reconstruction benchmarks mainly display actions performed in place, such as dancing, within limited scenarios. In practical scenarios, many scenes involve wide-range spatial movements, highlighting the limitations of existing 4D reconstruction datasets. Additionally, existing 4D reconstruction methods rely on deformation fields to estimate the dynamics of 3D objects, but deformation fields struggle with wide-range spatial movements, which limits the ability to achieve high-quality 4D scene reconstruction with wide-range spatial movements. In this paper, we focus on 4D scene reconstruction with significant object spatial movements and propose a novel 4D reconstruction benchmark, WideRange4D. This benchmark includes rich 4D scene data with large spatial variations, allowing for a more comprehensive evaluation of the generation capabilities of 4D generation methods. Furthermore, we introduce a new 4D reconstruction method, Progress4D, which generates stable and high-quality 4D results across various complex 4D scene reconstruction tasks. We conduct both quantitative and qualitative comparison experiments on WideRange4D, showing that our Progress4D outperforms existing state-of-the-art 4D reconstruction methods. Project: https://github.com/Gen-Verse/WideRange4D