GTR: Verbesserung großer 3D-Rekonstruktionsmodelle durch Geometrie- und Texturverfeinerung

GTR: Improving Large 3D Reconstruction Models through Geometry and Texture Refinement

June 9, 2024

Autoren: Peiye Zhuang, Songfang Han, Chaoyang Wang, Aliaksandr Siarohin, Jiaxu Zou, Michael Vasilkovsky, Vladislav Shakhrai, Sergey Korolev, Sergey Tulyakov, Hsin-Ying Lee

cs.AI

Zusammenfassung

Wir schlagen einen neuartigen Ansatz für die 3D-Mesh-Rekonstruktion aus Multi-View-Bildern vor. Unser Verfahren orientiert sich an großen Rekonstruktionsmodellen wie LRM, die einen Transformer-basierten Triplane-Generator und ein Neural Radiance Field (NeRF)-Modell verwenden, das auf Multi-View-Bildern trainiert ist. Allerdings führen wir in unserem Verfahren mehrere wichtige Modifikationen ein, die es uns ermöglichen, die Qualität der 3D-Rekonstruktion signifikant zu verbessern. Zunächst analysieren wir die ursprüngliche LRM-Architektur und identifizieren einige Schwachstellen. Anschließend führen wir entsprechende Modifikationen an der LRM-Architektur ein, die zu einer verbesserten Repräsentation von Multi-View-Bildern und einer effizienteren Schulung führen. Zweitens extrahieren wir zur Verbesserung der geometrischen Rekonstruktion und zur Ermöglichung der Überwachung bei voller Bildauflösung Meshes aus dem NeRF-Feld auf differenzierbare Weise und feinabstimmen das NeRF-Modell durch Mesh-Rendering. Diese Modifikationen ermöglichen es uns, Spitzenleistungen bei beiden 2D- und 3D-Evaluierungsmetriken zu erzielen, wie z.B. einem PSNR von 28,67 auf dem Google Scanned Objects (GSO)-Datensatz. Trotz dieser überlegenen Ergebnisse hat unser Feed-Forward-Modell immer noch Schwierigkeiten, komplexe Texturen wie Text und Porträts auf Assets zu rekonstruieren. Um dies zu lösen, führen wir ein leichtgewichtiges Texturfeinabstimmungsverfahren pro Instanz ein. Dieses Verfahren verfeinert die Triplane-Repräsentation und das NeRF-Farbschätzmodell auf der Mesh-Oberfläche unter Verwendung der Eingabe-Multi-View-Bilder in nur 4 Sekunden. Diese Verfeinerung verbessert den PSNR auf 29,79 und ermöglicht eine getreue Rekonstruktion komplexer Texturen wie Text. Darüber hinaus ermöglicht unser Ansatz verschiedene nachgelagerte Anwendungen, einschließlich der Text- oder Bild-zu-3D-Generierung.

English

We propose a novel approach for 3D mesh reconstruction from multi-view images. Our method takes inspiration from large reconstruction models like LRM that use a transformer-based triplane generator and a Neural Radiance Field (NeRF) model trained on multi-view images. However, in our method, we introduce several important modifications that allow us to significantly enhance 3D reconstruction quality. First of all, we examine the original LRM architecture and find several shortcomings. Subsequently, we introduce respective modifications to the LRM architecture, which lead to improved multi-view image representation and more computationally efficient training. Second, in order to improve geometry reconstruction and enable supervision at full image resolution, we extract meshes from the NeRF field in a differentiable manner and fine-tune the NeRF model through mesh rendering. These modifications allow us to achieve state-of-the-art performance on both 2D and 3D evaluation metrics, such as a PSNR of 28.67 on Google Scanned Objects (GSO) dataset. Despite these superior results, our feed-forward model still struggles to reconstruct complex textures, such as text and portraits on assets. To address this, we introduce a lightweight per-instance texture refinement procedure. This procedure fine-tunes the triplane representation and the NeRF color estimation model on the mesh surface using the input multi-view images in just 4 seconds. This refinement improves the PSNR to 29.79 and achieves faithful reconstruction of complex textures, such as text. Additionally, our approach enables various downstream applications, including text- or image-to-3D generation.