MeshLRM: Большая модель восстановления для высококачественной сетки

MeshLRM: Large Reconstruction Model for High-Quality Mesh

April 18, 2024

Авторы: Xinyue Wei, Kai Zhang, Sai Bi, Hao Tan, Fujun Luan, Valentin Deschaintre, Kalyan Sunkavalli, Hao Su, Zexiang Xu

cs.AI

Аннотация

Мы предлагаем MeshLRM, новый подход на основе LRM, который может восстанавливать высококачественную сетку всего лишь из четырех входных изображений менее чем за одну секунду. В отличие от предыдущих крупных моделей восстановления (LRM), сосредотачивающихся на восстановлении на основе NeRF, MeshLRM включает дифференцируемое извлечение и рендеринг сетки в рамках LRM. Это позволяет для конечного восстановления сетки донастройкой предварительно обученного LRM NeRF с рендерингом сетки. Более того, мы улучшаем архитектуру LRM, упрощая несколько сложных конструкций в предыдущих LRM. Инициализация NeRF в MeshLRM обучается последовательно с изображениями низкого и высокого разрешения; эта новая стратегия обучения LRM обеспечивает значительно более быструю сходимость и, следовательно, приводит к лучшему качеству с меньшим вычислительным объемом. Наш подход достигает передового восстановления сетки из разреженных входных данных и также позволяет использовать множество последующих приложений, включая текст-в-3D и генерацию изображения-в-3D. Страница проекта: https://sarahweiii.github.io/meshlrm/

English

We propose MeshLRM, a novel LRM-based approach that can reconstruct a high-quality mesh from merely four input images in less than one second. Different from previous large reconstruction models (LRMs) that focus on NeRF-based reconstruction, MeshLRM incorporates differentiable mesh extraction and rendering within the LRM framework. This allows for end-to-end mesh reconstruction by fine-tuning a pre-trained NeRF LRM with mesh rendering. Moreover, we improve the LRM architecture by simplifying several complex designs in previous LRMs. MeshLRM's NeRF initialization is sequentially trained with low- and high-resolution images; this new LRM training strategy enables significantly faster convergence and thereby leads to better quality with less compute. Our approach achieves state-of-the-art mesh reconstruction from sparse-view inputs and also allows for many downstream applications, including text-to-3D and single-image-to-3D generation. Project page: https://sarahweiii.github.io/meshlrm/