MeshLRM: Modelo de Reconstrucción a Gran Escala para Mallas de Alta Calidad

MeshLRM: Large Reconstruction Model for High-Quality Mesh

April 18, 2024

Autores: Xinyue Wei, Kai Zhang, Sai Bi, Hao Tan, Fujun Luan, Valentin Deschaintre, Kalyan Sunkavalli, Hao Su, Zexiang Xu

cs.AI

Resumen

Proponemos MeshLRM, un enfoque novedoso basado en LRM que puede reconstruir una malla de alta calidad a partir de tan solo cuatro imágenes de entrada en menos de un segundo. A diferencia de los modelos de reconstrucción a gran escala (LRM) anteriores que se centran en la reconstrucción basada en NeRF, MeshLRM incorpora la extracción y renderización diferenciable de mallas dentro del marco LRM. Esto permite la reconstrucción de mallas de extremo a extremo mediante el ajuste fino de un LRM NeRF preentrenado con renderización de mallas. Además, mejoramos la arquitectura LRM simplificando varios diseños complejos presentes en LRM anteriores. La inicialización NeRF de MeshLRM se entrena secuencialmente con imágenes de baja y alta resolución; esta nueva estrategia de entrenamiento LRM permite una convergencia significativamente más rápida y, por lo tanto, conduce a una mejor calidad con menos recursos computacionales. Nuestro enfoque logra una reconstrucción de mallas de última generación a partir de entradas de vistas escasas y también permite muchas aplicaciones posteriores, incluida la generación de texto a 3D y de imagen única a 3D. Página del proyecto: https://sarahweiii.github.io/meshlrm/

English

We propose MeshLRM, a novel LRM-based approach that can reconstruct a high-quality mesh from merely four input images in less than one second. Different from previous large reconstruction models (LRMs) that focus on NeRF-based reconstruction, MeshLRM incorporates differentiable mesh extraction and rendering within the LRM framework. This allows for end-to-end mesh reconstruction by fine-tuning a pre-trained NeRF LRM with mesh rendering. Moreover, we improve the LRM architecture by simplifying several complex designs in previous LRMs. MeshLRM's NeRF initialization is sequentially trained with low- and high-resolution images; this new LRM training strategy enables significantly faster convergence and thereby leads to better quality with less compute. Our approach achieves state-of-the-art mesh reconstruction from sparse-view inputs and also allows for many downstream applications, including text-to-3D and single-image-to-3D generation. Project page: https://sarahweiii.github.io/meshlrm/