GTR : Amélioration des modèles de reconstruction 3D à grande échelle par le raffinement de la géométrie et de la texture

GTR: Improving Large 3D Reconstruction Models through Geometry and Texture Refinement

June 9, 2024

Auteurs: Peiye Zhuang, Songfang Han, Chaoyang Wang, Aliaksandr Siarohin, Jiaxu Zou, Michael Vasilkovsky, Vladislav Shakhrai, Sergey Korolev, Sergey Tulyakov, Hsin-Ying Lee

cs.AI

Résumé

Nous proposons une nouvelle approche pour la reconstruction de maillages 3D à partir d'images multivues. Notre méthode s'inspire des modèles de reconstruction à grande échelle comme LRM, qui utilisent un générateur de triplan basé sur des transformateurs et un modèle de champ de radiance neuronale (NeRF) entraîné sur des images multivues. Cependant, dans notre méthode, nous introduisons plusieurs modifications importantes qui nous permettent d'améliorer significativement la qualité de la reconstruction 3D. Tout d'abord, nous examinons l'architecture originale de LRM et identifions plusieurs lacunes. Par la suite, nous introduisons des modifications respectives à l'architecture de LRM, ce qui conduit à une meilleure représentation des images multivues et à un entraînement plus efficace sur le plan computationnel. Deuxièmement, afin d'améliorer la reconstruction géométrique et de permettre une supervision à la pleine résolution de l'image, nous extrayons des maillages du champ NeRF de manière différentiable et affinons le modèle NeRF via le rendu de maillage. Ces modifications nous permettent d'atteindre des performances de pointe sur les métriques d'évaluation 2D et 3D, comme un PSNR de 28,67 sur le jeu de données Google Scanned Objects (GSO). Malgré ces résultats supérieurs, notre modèle en flux direct éprouve encore des difficultés à reconstruire des textures complexes, comme du texte ou des portraits sur des objets. Pour résoudre ce problème, nous introduisons une procédure légère de raffinement de texture par instance. Cette procédure affine la représentation du triplan et le modèle d'estimation de couleur NeRF sur la surface du maillage en utilisant les images multivues d'entrée en seulement 4 secondes. Ce raffinement améliore le PSNR à 29,79 et permet une reconstruction fidèle de textures complexes, comme du texte. De plus, notre approche permet diverses applications en aval, y compris la génération de texte ou d'image vers la 3D.

English

We propose a novel approach for 3D mesh reconstruction from multi-view images. Our method takes inspiration from large reconstruction models like LRM that use a transformer-based triplane generator and a Neural Radiance Field (NeRF) model trained on multi-view images. However, in our method, we introduce several important modifications that allow us to significantly enhance 3D reconstruction quality. First of all, we examine the original LRM architecture and find several shortcomings. Subsequently, we introduce respective modifications to the LRM architecture, which lead to improved multi-view image representation and more computationally efficient training. Second, in order to improve geometry reconstruction and enable supervision at full image resolution, we extract meshes from the NeRF field in a differentiable manner and fine-tune the NeRF model through mesh rendering. These modifications allow us to achieve state-of-the-art performance on both 2D and 3D evaluation metrics, such as a PSNR of 28.67 on Google Scanned Objects (GSO) dataset. Despite these superior results, our feed-forward model still struggles to reconstruct complex textures, such as text and portraits on assets. To address this, we introduce a lightweight per-instance texture refinement procedure. This procedure fine-tunes the triplane representation and the NeRF color estimation model on the mesh surface using the input multi-view images in just 4 seconds. This refinement improves the PSNR to 29.79 and achieves faithful reconstruction of complex textures, such as text. Additionally, our approach enables various downstream applications, including text- or image-to-3D generation.