WideRange4D: Обеспечение высококачественной 4D-реконструкции для широкого диапазона движений и сцен

WideRange4D: Enabling High-Quality 4D Reconstruction with Wide-Range Movements and Scenes

March 17, 2025

Авторы: Ling Yang, Kaixin Zhu, Juanxi Tian, Bohan Zeng, Mingbao Lin, Hongjuan Pei, Wentao Zhang, Shuicheng Yan

cs.AI

Аннотация

С быстрым развитием технологий 3D-реконструкции исследования в области 4D-реконструкции также продвигаются вперед. Существующие методы 4D-реконструкции способны создавать высококачественные 4D-сцены. Однако из-за сложностей в получении многовидовых видеоданных текущие эталонные наборы для 4D-реконструкции в основном демонстрируют действия, выполняемые на месте, такие как танцы, в ограниченных сценариях. В реальных условиях многие сцены включают широкомасштабные пространственные перемещения, что подчеркивает ограниченность существующих наборов данных для 4D-реконструкции. Кроме того, существующие методы 4D-реконструкции полагаются на поля деформации для оценки динамики 3D-объектов, но поля деформации плохо справляются с широкомасштабными пространственными перемещениями, что ограничивает возможность достижения высококачественной 4D-реконструкции сцен с такими перемещениями. В данной статье мы сосредоточиваемся на 4D-реконструкции сцен с существенными пространственными перемещениями объектов и предлагаем новый эталонный набор данных для 4D-реконструкции, WideRange4D. Этот набор включает богатые данные 4D-сцен с большими пространственными вариациями, что позволяет более полно оценить возможности методов генерации 4D-сцен. Кроме того, мы представляем новый метод 4D-реконструкции, Progress4D, который обеспечивает стабильные и высококачественные результаты для различных сложных задач 4D-реконструкции. Мы проводим количественные и качественные сравнительные эксперименты на наборе WideRange4D, демонстрируя, что наш метод Progress4D превосходит существующие передовые методы 4D-реконструкции. Проект: https://github.com/Gen-Verse/WideRange4D

English

With the rapid development of 3D reconstruction technology, research in 4D reconstruction is also advancing, existing 4D reconstruction methods can generate high-quality 4D scenes. However, due to the challenges in acquiring multi-view video data, the current 4D reconstruction benchmarks mainly display actions performed in place, such as dancing, within limited scenarios. In practical scenarios, many scenes involve wide-range spatial movements, highlighting the limitations of existing 4D reconstruction datasets. Additionally, existing 4D reconstruction methods rely on deformation fields to estimate the dynamics of 3D objects, but deformation fields struggle with wide-range spatial movements, which limits the ability to achieve high-quality 4D scene reconstruction with wide-range spatial movements. In this paper, we focus on 4D scene reconstruction with significant object spatial movements and propose a novel 4D reconstruction benchmark, WideRange4D. This benchmark includes rich 4D scene data with large spatial variations, allowing for a more comprehensive evaluation of the generation capabilities of 4D generation methods. Furthermore, we introduce a new 4D reconstruction method, Progress4D, which generates stable and high-quality 4D results across various complex 4D scene reconstruction tasks. We conduct both quantitative and qualitative comparison experiments on WideRange4D, showing that our Progress4D outperforms existing state-of-the-art 4D reconstruction methods. Project: https://github.com/Gen-Verse/WideRange4D