LRM-Zero: Обучение больших моделей восстановления на синтезированных данных

LRM-Zero: Training Large Reconstruction Models with Synthesized Data

June 13, 2024

Авторы: Desai Xie, Sai Bi, Zhixin Shu, Kai Zhang, Zexiang Xu, Yi Zhou, Sören Pirk, Arie Kaufman, Xin Sun, Hao Tan

cs.AI

Аннотация

Мы представляем LRM-Zero, большую модель восстановления (LRM), обученную исключительно на синтезированных 3D данных, достигающую высококачественного восстановления 3D из разреженных видов. Основу LRM-Zero составляет наш процедурный 3D набор данных, Zeroverse, который автоматически синтезируется из простых примитивных форм с случайным текстурированием и дополнениями (например, полевыми высотами, булевыми различиями и каркасами). В отличие от предыдущих 3D наборов данных (например, Objaverse), которые часто захватываются или создаются людьми для приближения к реальным 3D данным, Zeroverse полностью игнорирует реалистичные глобальные семантические аспекты, но богат сложными геометрическими и текстурными деталями, которые локально схожи или даже более замысловаты, чем реальные объекты. Мы демонстрируем, что наша LRM-Zero, обученная с использованием нашего полностью синтезированного Zeroverse, может достичь высокого визуального качества при восстановлении реальных объектов, конкурентоспособного с моделями, обученными на Objaverse. Мы также анализируем несколько критических дизайнерских решений Zeroverse, которые способствуют способностям LRM-Zero и стабильности обучения. Наша работа показывает, что восстановление 3D, одна из основных задач в 3D зрении, потенциально может быть решена без семантики реальных объектов. Процедурный код синтеза Zeroverse и интерактивная визуализация доступны по ссылке: https://desaixie.github.io/lrm-zero/.

English

We present LRM-Zero, a Large Reconstruction Model (LRM) trained entirely on synthesized 3D data, achieving high-quality sparse-view 3D reconstruction. The core of LRM-Zero is our procedural 3D dataset, Zeroverse, which is automatically synthesized from simple primitive shapes with random texturing and augmentations (e.g., height fields, boolean differences, and wireframes). Unlike previous 3D datasets (e.g., Objaverse) which are often captured or crafted by humans to approximate real 3D data, Zeroverse completely ignores realistic global semantics but is rich in complex geometric and texture details that are locally similar to or even more intricate than real objects. We demonstrate that our LRM-Zero, trained with our fully synthesized Zeroverse, can achieve high visual quality in the reconstruction of real-world objects, competitive with models trained on Objaverse. We also analyze several critical design choices of Zeroverse that contribute to LRM-Zero's capability and training stability. Our work demonstrates that 3D reconstruction, one of the core tasks in 3D vision, can potentially be addressed without the semantics of real-world objects. The Zeroverse's procedural synthesis code and interactive visualization are available at: https://desaixie.github.io/lrm-zero/.