GenXD: 任意の3Dおよび4Dシーンの生成

GenXD: Generating Any 3D and 4D Scenes

November 4, 2024

著者: Yuyang Zhao, Chung-Ching Lin, Kevin Lin, Zhiwen Yan, Linjie Li, Zhengyuan Yang, Jianfeng Wang, Gim Hee Lee, Lijuan Wang

cs.AI

要旨

2Dビジュアル生成の最近の進展は非常に成功しています。しかし、3Dおよび4D生成は、大規模な4Dデータと効果的なモデル設計の不足により、実世界のアプリケーションで依然として課題が残っています。本論文では、日常生活でよく見られるカメラと物体の動きを活用して、一般的な3Dおよび4D生成を共同で調査することを提案します。コミュニティ内での実世界の4Dデータの不足により、まずビデオからカメラの位置姿勢と物体の動きの強度を取得するデータキュレーションパイプラインを提案します。このパイプラインに基づいて、大規模な実世界の4DシーンデータセットであるCamVid-30Kを導入します。3Dおよび4Dデータを活用して、どんな3Dまたは4Dシーンでも生成できるようにするために、GenXDというフレームワークを開発します。我々は、カメラと物体の動きを分離し、3Dおよび4Dデータの両方からシームレスに学習するためのマルチビュー・テンポラルモジュールを提案します。さらに、GenXDは、様々な条件付きビューをサポートするためにマスクされた潜在条件を使用します。GenXDは、カメラの軌跡に従うビデオや、3D表現に昇華できる一貫した3Dビューを生成することができます。我々は、さまざまな実世界および合成データセットで包括的な評価を行い、3Dおよび4D生成において従来の手法と比較してGenXDの効果と汎用性を示しました。

English

Recent developments in 2D visual generation have been remarkably successful. However, 3D and 4D generation remain challenging in real-world applications due to the lack of large-scale 4D data and effective model design. In this paper, we propose to jointly investigate general 3D and 4D generation by leveraging camera and object movements commonly observed in daily life. Due to the lack of real-world 4D data in the community, we first propose a data curation pipeline to obtain camera poses and object motion strength from videos. Based on this pipeline, we introduce a large-scale real-world 4D scene dataset: CamVid-30K. By leveraging all the 3D and 4D data, we develop our framework, GenXD, which allows us to produce any 3D or 4D scene. We propose multiview-temporal modules, which disentangle camera and object movements, to seamlessly learn from both 3D and 4D data. Additionally, GenXD employs masked latent conditions to support a variety of conditioning views. GenXD can generate videos that follow the camera trajectory as well as consistent 3D views that can be lifted into 3D representations. We perform extensive evaluations across various real-world and synthetic datasets, demonstrating GenXD's effectiveness and versatility compared to previous methods in 3D and 4D generation.