LRM-Zero: 합성 데이터를 활용한 대규모 재구성 모델 학습

LRM-Zero: Training Large Reconstruction Models with Synthesized Data

June 13, 2024

저자: Desai Xie, Sai Bi, Zhixin Shu, Kai Zhang, Zexiang Xu, Yi Zhou, Sören Pirk, Arie Kaufman, Xin Sun, Hao Tan

cs.AI

초록

우리는 합성된 3D 데이터만으로 학습된 대규모 재구성 모델(LRM)인 LRM-Zero를 소개하며, 이를 통해 고품질의 희소 뷰(sparse-view) 3D 재구성을 달성했습니다. LRM-Zero의 핵심은 단순한 기본 도형에서 무작위 텍스처링 및 증강(예: 높이 필드, 불리언 차이, 와이어프레임 등)을 통해 자동으로 합성된 절차적 3D 데이터셋인 Zeroverse입니다. 이전의 3D 데이터셋(예: Objaverse)이 실제 3D 데이터를 근사하기 위해 인간에 의해 캡처되거나 제작된 것과 달리, Zeroverse는 현실적인 전역 의미론을 완전히 무시하지만, 실제 물체와 유사하거나 그 이상으로 복잡한 기하학적 및 텍스처 세부 사항을 풍부하게 포함합니다. 우리는 완전히 합성된 Zeroverse로 학습된 LRM-Zero가 실제 물체의 재구성에서 Objaverse로 학습된 모델과 경쟁할 만한 높은 시각적 품질을 달성할 수 있음을 입증합니다. 또한, LRM-Zero의 능력과 학습 안정성에 기여하는 Zeroverse의 몇 가지 중요한 설계 선택을 분석합니다. 우리의 연구는 3D 비전의 핵심 작업 중 하나인 3D 재구성이 실제 물체의 의미론 없이도 해결될 수 있는 가능성을 보여줍니다. Zeroverse의 절차적 합성 코드와 인터랙티브 시각화는 https://desaixie.github.io/lrm-zero/에서 확인할 수 있습니다.

English

We present LRM-Zero, a Large Reconstruction Model (LRM) trained entirely on synthesized 3D data, achieving high-quality sparse-view 3D reconstruction. The core of LRM-Zero is our procedural 3D dataset, Zeroverse, which is automatically synthesized from simple primitive shapes with random texturing and augmentations (e.g., height fields, boolean differences, and wireframes). Unlike previous 3D datasets (e.g., Objaverse) which are often captured or crafted by humans to approximate real 3D data, Zeroverse completely ignores realistic global semantics but is rich in complex geometric and texture details that are locally similar to or even more intricate than real objects. We demonstrate that our LRM-Zero, trained with our fully synthesized Zeroverse, can achieve high visual quality in the reconstruction of real-world objects, competitive with models trained on Objaverse. We also analyze several critical design choices of Zeroverse that contribute to LRM-Zero's capability and training stability. Our work demonstrates that 3D reconstruction, one of the core tasks in 3D vision, can potentially be addressed without the semantics of real-world objects. The Zeroverse's procedural synthesis code and interactive visualization are available at: https://desaixie.github.io/lrm-zero/.