MeshLRM : Modèle de Reconstruction à Grande Échelle pour des Maillages de Haute Qualité

MeshLRM: Large Reconstruction Model for High-Quality Mesh

April 18, 2024

Auteurs: Xinyue Wei, Kai Zhang, Sai Bi, Hao Tan, Fujun Luan, Valentin Deschaintre, Kalyan Sunkavalli, Hao Su, Zexiang Xu

cs.AI

Résumé

Nous proposons MeshLRM, une nouvelle approche basée sur les modèles de reconstruction à grande échelle (LRM) capable de reconstruire un maillage de haute qualité à partir de seulement quatre images d'entrée en moins d'une seconde. Contrairement aux précédents modèles de reconstruction à grande échelle (LRMs) qui se concentrent sur la reconstruction basée sur NeRF, MeshLRM intègre l'extraction de maillage différentiable et le rendu au sein du cadre LRM. Cela permet une reconstruction de maillage de bout en bout en affinant un LRM NeRF pré-entraîné avec le rendu de maillage. De plus, nous améliorons l'architecture LRM en simplifiant plusieurs conceptions complexes des précédents LRMs. L'initialisation NeRF de MeshLRM est entraînée séquentiellement avec des images de basse et haute résolution ; cette nouvelle stratégie d'entraînement LRM permet une convergence significativement plus rapide et conduit ainsi à une meilleure qualité avec moins de calcul. Notre approche atteint l'état de l'art en reconstruction de maillage à partir d'entrées à vues éparses et permet également de nombreuses applications en aval, y compris la génération de texte-à-3D et d'image unique-à-3D. Page du projet : https://sarahweiii.github.io/meshlrm/

English

We propose MeshLRM, a novel LRM-based approach that can reconstruct a high-quality mesh from merely four input images in less than one second. Different from previous large reconstruction models (LRMs) that focus on NeRF-based reconstruction, MeshLRM incorporates differentiable mesh extraction and rendering within the LRM framework. This allows for end-to-end mesh reconstruction by fine-tuning a pre-trained NeRF LRM with mesh rendering. Moreover, we improve the LRM architecture by simplifying several complex designs in previous LRMs. MeshLRM's NeRF initialization is sequentially trained with low- and high-resolution images; this new LRM training strategy enables significantly faster convergence and thereby leads to better quality with less compute. Our approach achieves state-of-the-art mesh reconstruction from sparse-view inputs and also allows for many downstream applications, including text-to-3D and single-image-to-3D generation. Project page: https://sarahweiii.github.io/meshlrm/