LRM-Zero: Grote Reconstructiemodellen trainen met gesynthetiseerde data

LRM-Zero: Training Large Reconstruction Models with Synthesized Data

June 13, 2024

Auteurs: Desai Xie, Sai Bi, Zhixin Shu, Kai Zhang, Zexiang Xu, Yi Zhou, Sören Pirk, Arie Kaufman, Xin Sun, Hao Tan

cs.AI

Samenvatting

We presenteren LRM-Zero, een Large Reconstruction Model (LRM) dat volledig is getraind op gesynthetiseerde 3D-data, en dat hoogwaardige sparse-view 3D-reconstructie bereikt. De kern van LRM-Zero is onze procedurele 3D-dataset, Zeroverse, die automatisch wordt gesynthetiseerd uit eenvoudige primitieve vormen met willekeurige texturering en augmentaties (bijv. hoogtevelden, booleaanse verschillen en wireframes). In tegenstelling tot eerdere 3D-datasets (bijv. Objaverse), die vaak door mensen zijn vastgelegd of gemaakt om echte 3D-data te benaderen, negeert Zeroverse realistische globale semantiek volledig, maar is het rijk aan complexe geometrische en textuurdetails die lokaal vergelijkbaar zijn met of zelfs ingewikkelder dan echte objecten. We tonen aan dat onze LRM-Zero, getraind met onze volledig gesynthetiseerde Zeroverse, een hoge visuele kwaliteit kan bereiken in de reconstructie van objecten uit de echte wereld, wat concurrerend is met modellen die zijn getraind op Objaverse. We analyseren ook verschillende kritieke ontwerpkeuzes van Zeroverse die bijdragen aan de capaciteit en trainingsstabiliteit van LRM-Zero. Ons werk toont aan dat 3D-reconstructie, een van de kerntaken in 3D-visie, mogelijk kan worden aangepakt zonder de semantiek van objecten uit de echte wereld. De procedurele synthesencode van Zeroverse en de interactieve visualisatie zijn beschikbaar op: https://desaixie.github.io/lrm-zero/.

English

We present LRM-Zero, a Large Reconstruction Model (LRM) trained entirely on synthesized 3D data, achieving high-quality sparse-view 3D reconstruction. The core of LRM-Zero is our procedural 3D dataset, Zeroverse, which is automatically synthesized from simple primitive shapes with random texturing and augmentations (e.g., height fields, boolean differences, and wireframes). Unlike previous 3D datasets (e.g., Objaverse) which are often captured or crafted by humans to approximate real 3D data, Zeroverse completely ignores realistic global semantics but is rich in complex geometric and texture details that are locally similar to or even more intricate than real objects. We demonstrate that our LRM-Zero, trained with our fully synthesized Zeroverse, can achieve high visual quality in the reconstruction of real-world objects, competitive with models trained on Objaverse. We also analyze several critical design choices of Zeroverse that contribute to LRM-Zero's capability and training stability. Our work demonstrates that 3D reconstruction, one of the core tasks in 3D vision, can potentially be addressed without the semantics of real-world objects. The Zeroverse's procedural synthesis code and interactive visualization are available at: https://desaixie.github.io/lrm-zero/.