GTR: Mejora de modelos de reconstrucción 3D a gran escala mediante refinamiento de geometría y textura

GTR: Improving Large 3D Reconstruction Models through Geometry and Texture Refinement

June 9, 2024

Autores: Peiye Zhuang, Songfang Han, Chaoyang Wang, Aliaksandr Siarohin, Jiaxu Zou, Michael Vasilkovsky, Vladislav Shakhrai, Sergey Korolev, Sergey Tulyakov, Hsin-Ying Lee

cs.AI

Resumen

Proponemos un enfoque novedoso para la reconstrucción de mallas 3D a partir de imágenes multivista. Nuestro método se inspira en modelos de reconstrucción a gran escala como LRM, que utilizan un generador de triplanos basado en transformadores y un modelo de Neural Radiance Field (NeRF) entrenado con imágenes multivista. Sin embargo, en nuestro método, introducimos varias modificaciones importantes que nos permiten mejorar significativamente la calidad de la reconstrucción 3D. En primer lugar, examinamos la arquitectura original de LRM e identificamos varias limitaciones. Posteriormente, introducimos modificaciones respectivas a la arquitectura de LRM, lo que conduce a una mejor representación de imágenes multivista y a un entrenamiento más eficiente computacionalmente. En segundo lugar, para mejorar la reconstrucción de la geometría y permitir la supervisión a resolución completa de la imagen, extraemos mallas del campo NeRF de manera diferenciable y ajustamos finamente el modelo NeRF mediante el renderizado de mallas. Estas modificaciones nos permiten alcanzar un rendimiento de vanguardia en métricas de evaluación tanto 2D como 3D, como un PSNR de 28.67 en el conjunto de datos Google Scanned Objects (GSO). A pesar de estos resultados superiores, nuestro modelo de avance directo aún tiene dificultades para reconstruir texturas complejas, como texto y retratos en los activos. Para abordar esto, introducimos un procedimiento ligero de refinamiento de textura por instancia. Este procedimiento ajusta finamente la representación de triplanos y el modelo de estimación de color NeRF en la superficie de la malla utilizando las imágenes multivista de entrada en solo 4 segundos. Este refinamiento mejora el PSNR a 29.79 y logra una reconstrucción fiel de texturas complejas, como el texto. Además, nuestro enfoque permite diversas aplicaciones posteriores, incluida la generación de texto o imagen a 3D.

English

We propose a novel approach for 3D mesh reconstruction from multi-view images. Our method takes inspiration from large reconstruction models like LRM that use a transformer-based triplane generator and a Neural Radiance Field (NeRF) model trained on multi-view images. However, in our method, we introduce several important modifications that allow us to significantly enhance 3D reconstruction quality. First of all, we examine the original LRM architecture and find several shortcomings. Subsequently, we introduce respective modifications to the LRM architecture, which lead to improved multi-view image representation and more computationally efficient training. Second, in order to improve geometry reconstruction and enable supervision at full image resolution, we extract meshes from the NeRF field in a differentiable manner and fine-tune the NeRF model through mesh rendering. These modifications allow us to achieve state-of-the-art performance on both 2D and 3D evaluation metrics, such as a PSNR of 28.67 on Google Scanned Objects (GSO) dataset. Despite these superior results, our feed-forward model still struggles to reconstruct complex textures, such as text and portraits on assets. To address this, we introduce a lightweight per-instance texture refinement procedure. This procedure fine-tunes the triplane representation and the NeRF color estimation model on the mesh surface using the input multi-view images in just 4 seconds. This refinement improves the PSNR to 29.79 and achieves faithful reconstruction of complex textures, such as text. Additionally, our approach enables various downstream applications, including text- or image-to-3D generation.