CRM : Reconstruction de maillage 3D texturé à partir d'une seule image avec un modèle convolutif

CRM: Single Image to 3D Textured Mesh with Convolutional Reconstruction Model

March 8, 2024

Auteurs: Zhengyi Wang, Yikai Wang, Yifei Chen, Chendong Xiang, Shuo Chen, Dajiang Yu, Chongxuan Li, Hang Su, Jun Zhu

cs.AI

Résumé

Les modèles génératifs 3D à propagation directe, comme le Large Reconstruction Model (LRM), ont démontré une vitesse de génération exceptionnelle. Cependant, les méthodes basées sur les transformers n'exploitent pas les préconceptions géométriques du composant triplan dans leur architecture, ce qui conduit souvent à une qualité sous-optimale en raison de la taille limitée des données 3D et de l'entraînement lent. Dans ce travail, nous présentons le Convolutional Reconstruction Model (CRM), un modèle génératif à propagation directe haute fidélité pour la génération 3D à partir d'une seule image. Conscients des limitations imposées par la rareté des données 3D, nous soulignons la nécessité d'intégrer des préconceptions géométriques dans la conception des réseaux. CRM s'appuie sur l'observation clé que la visualisation du triplan présente une correspondance spatiale de six images orthographiques. D'abord, il génère six images de vue orthographique à partir d'une seule image d'entrée, puis alimente ces images dans un U-Net convolutif, exploitant ses fortes capacités d'alignement au niveau des pixels et sa bande passante importante pour créer un triplan haute résolution. CRM utilise en outre les Flexicubes comme représentation géométrique, facilitant l'optimisation directe de bout en bout sur des maillages texturés. Globalement, notre modèle produit un maillage texturé haute fidélité à partir d'une image en seulement 10 secondes, sans aucune optimisation au moment du test.

English

Feed-forward 3D generative models like the Large Reconstruction Model (LRM) have demonstrated exceptional generation speed. However, the transformer-based methods do not leverage the geometric priors of the triplane component in their architecture, often leading to sub-optimal quality given the limited size of 3D data and slow training. In this work, we present the Convolutional Reconstruction Model (CRM), a high-fidelity feed-forward single image-to-3D generative model. Recognizing the limitations posed by sparse 3D data, we highlight the necessity of integrating geometric priors into network design. CRM builds on the key observation that the visualization of triplane exhibits spatial correspondence of six orthographic images. First, it generates six orthographic view images from a single input image, then feeds these images into a convolutional U-Net, leveraging its strong pixel-level alignment capabilities and significant bandwidth to create a high-resolution triplane. CRM further employs Flexicubes as geometric representation, facilitating direct end-to-end optimization on textured meshes. Overall, our model delivers a high-fidelity textured mesh from an image in just 10 seconds, without any test-time optimization.