GenXD: Генерация любых трехмерных и четырехмерных сцен

GenXD: Generating Any 3D and 4D Scenes

November 4, 2024

Авторы: Yuyang Zhao, Chung-Ching Lin, Kevin Lin, Zhiwen Yan, Linjie Li, Zhengyuan Yang, Jianfeng Wang, Gim Hee Lee, Lijuan Wang

cs.AI

Аннотация

Недавние достижения в генерации 2D изображений были чрезвычайно успешными. Однако генерация 3D и 4D остается сложной в реальных приложениях из-за отсутствия масштабных данных 4D и эффективного проектирования моделей. В данной статье мы предлагаем совместно исследовать общую генерацию 3D и 4D, используя движения камеры и объектов, часто наблюдаемые в повседневной жизни. Из-за отсутствия реальных данных 4D в сообществе, мы предлагаем сначала конвейер кураторства данных для получения поз камеры и силы движения объектов из видео. Основываясь на этом конвейере, мы представляем крупномасштабный реальный набор данных сцен 4D: CamVid-30K. Используя все данные 3D и 4D, мы разрабатываем нашу структуру, GenXD, которая позволяет нам создавать любую сцену 3D или 4D. Мы предлагаем мультивидово-временные модули, которые разделяют движения камеры и объектов, чтобы без проблем учиться на основе данных 3D и 4D. Кроме того, GenXD использует маскированные латентные условия для поддержки различных видов условий. GenXD может генерировать видео, следующие за траекторией камеры, а также последовательные 3D виды, которые могут быть преобразованы в 3D представления. Мы проводим обширные оценки на различных реальных и синтетических наборах данных, демонстрируя эффективность и универсальность GenXD по сравнению с предыдущими методами в генерации 3D и 4D.

English

Recent developments in 2D visual generation have been remarkably successful. However, 3D and 4D generation remain challenging in real-world applications due to the lack of large-scale 4D data and effective model design. In this paper, we propose to jointly investigate general 3D and 4D generation by leveraging camera and object movements commonly observed in daily life. Due to the lack of real-world 4D data in the community, we first propose a data curation pipeline to obtain camera poses and object motion strength from videos. Based on this pipeline, we introduce a large-scale real-world 4D scene dataset: CamVid-30K. By leveraging all the 3D and 4D data, we develop our framework, GenXD, which allows us to produce any 3D or 4D scene. We propose multiview-temporal modules, which disentangle camera and object movements, to seamlessly learn from both 3D and 4D data. Additionally, GenXD employs masked latent conditions to support a variety of conditioning views. GenXD can generate videos that follow the camera trajectory as well as consistent 3D views that can be lifted into 3D representations. We perform extensive evaluations across various real-world and synthetic datasets, demonstrating GenXD's effectiveness and versatility compared to previous methods in 3D and 4D generation.