LRM-Zero: 合成データを用いた大規模再構成モデルのトレーニング

LRM-Zero: Training Large Reconstruction Models with Synthesized Data

June 13, 2024

著者: Desai Xie, Sai Bi, Zhixin Shu, Kai Zhang, Zexiang Xu, Yi Zhou, Sören Pirk, Arie Kaufman, Xin Sun, Hao Tan

cs.AI

要旨

本論文では、完全に合成された3Dデータを用いてトレーニングされた大規模再構成モデル（LRM）であるLRM-Zeroを紹介します。LRM-Zeroは、高品質なスパースビュー3D再構成を実現します。LRM-Zeroの中核となるのは、プロシージャルに生成された3Dデータセット「Zeroverse」です。Zeroverseは、単純なプリミティブ形状からランダムなテクスチャリングと拡張（例：高さフィールド、ブーリアン差分、ワイヤーフレーム）を用いて自動的に合成されます。従来の3Dデータセット（例：Objaverse）が現実の3Dデータを近似するために人間によってキャプチャーまたは作成されるのに対し、Zeroverseは現実的なグローバルセマンティクスを完全に無視しつつ、現実のオブジェクトと局所的に類似またはそれ以上に複雑な幾何学的およびテクスチャの詳細を豊富に含んでいます。我々は、完全に合成されたZeroverseでトレーニングされたLRM-Zeroが、現実世界のオブジェクトの再構成においてObjaverseでトレーニングされたモデルと競合する高い視覚品質を達成できることを実証します。また、LRM-Zeroの能力とトレーニングの安定性に寄与するZeroverseのいくつかの重要な設計選択について分析します。本研究は、3Dビジョンのコアタスクの一つである3D再構成が、現実世界のオブジェクトのセマンティクスなしに解決可能であることを示しています。Zeroverseのプロシージャル合成コードとインタラクティブな可視化は、https://desaixie.github.io/lrm-zero/ で公開されています。

English

We present LRM-Zero, a Large Reconstruction Model (LRM) trained entirely on synthesized 3D data, achieving high-quality sparse-view 3D reconstruction. The core of LRM-Zero is our procedural 3D dataset, Zeroverse, which is automatically synthesized from simple primitive shapes with random texturing and augmentations (e.g., height fields, boolean differences, and wireframes). Unlike previous 3D datasets (e.g., Objaverse) which are often captured or crafted by humans to approximate real 3D data, Zeroverse completely ignores realistic global semantics but is rich in complex geometric and texture details that are locally similar to or even more intricate than real objects. We demonstrate that our LRM-Zero, trained with our fully synthesized Zeroverse, can achieve high visual quality in the reconstruction of real-world objects, competitive with models trained on Objaverse. We also analyze several critical design choices of Zeroverse that contribute to LRM-Zero's capability and training stability. Our work demonstrates that 3D reconstruction, one of the core tasks in 3D vision, can potentially be addressed without the semantics of real-world objects. The Zeroverse's procedural synthesis code and interactive visualization are available at: https://desaixie.github.io/lrm-zero/.