GenXD: Generando Escenas 3D y 4D

GenXD: Generating Any 3D and 4D Scenes

November 4, 2024

Autores: Yuyang Zhao, Chung-Ching Lin, Kevin Lin, Zhiwen Yan, Linjie Li, Zhengyuan Yang, Jianfeng Wang, Gim Hee Lee, Lijuan Wang

cs.AI

Resumen

Los recientes avances en la generación visual 2D han sido notablemente exitosos. Sin embargo, la generación 3D y 4D sigue siendo desafiante en aplicaciones del mundo real debido a la falta de datos 4D a gran escala y un diseño de modelo efectivo. En este documento, proponemos investigar conjuntamente la generación general de escenas 3D y 4D aprovechando los movimientos de cámara y objetos comúnmente observados en la vida diaria. Debido a la escasez de datos 4D del mundo real en la comunidad, primero proponemos un proceso de curación de datos para obtener poses de cámara y la intensidad del movimiento de los objetos a partir de videos. Basándonos en este proceso, presentamos un conjunto de datos de escenas 4D del mundo real a gran escala: CamVid-30K. Al aprovechar todos los datos 3D y 4D, desarrollamos nuestro marco, GenXD, que nos permite producir cualquier escena 3D o 4D. Proponemos módulos multivista-temporales, que separan los movimientos de cámara y objetos, para aprender de manera fluida tanto de los datos 3D como 4D. Además, GenXD emplea condiciones latentes enmascaradas para admitir una variedad de vistas condicionales. GenXD puede generar videos que siguen la trayectoria de la cámara, así como vistas 3D consistentes que pueden ser convertidas en representaciones 3D. Realizamos evaluaciones exhaustivas en varios conjuntos de datos del mundo real y sintéticos, demostrando la efectividad y versatilidad de GenXD en comparación con métodos anteriores en la generación 3D y 4D.

English

Recent developments in 2D visual generation have been remarkably successful. However, 3D and 4D generation remain challenging in real-world applications due to the lack of large-scale 4D data and effective model design. In this paper, we propose to jointly investigate general 3D and 4D generation by leveraging camera and object movements commonly observed in daily life. Due to the lack of real-world 4D data in the community, we first propose a data curation pipeline to obtain camera poses and object motion strength from videos. Based on this pipeline, we introduce a large-scale real-world 4D scene dataset: CamVid-30K. By leveraging all the 3D and 4D data, we develop our framework, GenXD, which allows us to produce any 3D or 4D scene. We propose multiview-temporal modules, which disentangle camera and object movements, to seamlessly learn from both 3D and 4D data. Additionally, GenXD employs masked latent conditions to support a variety of conditioning views. GenXD can generate videos that follow the camera trajectory as well as consistent 3D views that can be lifted into 3D representations. We perform extensive evaluations across various real-world and synthetic datasets, demonstrating GenXD's effectiveness and versatility compared to previous methods in 3D and 4D generation.