GTR: Miglioramento dei modelli di ricostruzione 3D su larga scala attraverso il perfezionamento della geometria e della texture

Abstract

Proponiamo un nuovo approccio per la ricostruzione di mesh 3D a partire da immagini multi-vista. Il nostro metodo trae ispirazione da modelli di ricostruzione su larga scala come LRM, che utilizzano un generatore di triplane basato su transformer e un modello Neural Radiance Field (NeRF) addestrato su immagini multi-vista. Tuttavia, nel nostro metodo introduciamo diverse modifiche significative che ci permettono di migliorare notevolmente la qualità della ricostruzione 3D. Innanzitutto, esaminiamo l'architettura originale di LRM e identifichiamo alcune carenze. Successivamente, introduciamo modifiche corrispondenti all'architettura LRM, che portano a una migliore rappresentazione delle immagini multi-vista e a un addestramento più efficiente dal punto di vista computazionale. In secondo luogo, per migliorare la ricostruzione della geometria e abilitare la supervisione a piena risoluzione dell'immagine, estraiamo le mesh dal campo NeRF in modo differenziabile e ottimizziamo il modello NeRF attraverso il rendering della mesh. Queste modifiche ci permettono di raggiungere prestazioni all'avanguardia sia nelle metriche di valutazione 2D che 3D, come un PSNR di 28.67 sul dataset Google Scanned Objects (GSO). Nonostante questi risultati superiori, il nostro modello feed-forward incontra ancora difficoltà nella ricostruzione di texture complesse, come testi e ritratti sugli asset. Per affrontare questo problema, introduciamo una procedura leggera di perfezionamento della texture per istanza. Questa procedura ottimizza la rappresentazione del triplane e il modello di stima del colore NeRF sulla superficie della mesh utilizzando le immagini multi-vista di input in soli 4 secondi. Questo perfezionamento migliora il PSNR a 29.79 e consente una ricostruzione fedele di texture complesse, come i testi. Inoltre, il nostro approccio abilita varie applicazioni downstream, tra cui la generazione da testo o immagine a 3D.

English

We propose a novel approach for 3D mesh reconstruction from multi-view images. Our method takes inspiration from large reconstruction models like LRM that use a transformer-based triplane generator and a Neural Radiance Field (NeRF) model trained on multi-view images. However, in our method, we introduce several important modifications that allow us to significantly enhance 3D reconstruction quality. First of all, we examine the original LRM architecture and find several shortcomings. Subsequently, we introduce respective modifications to the LRM architecture, which lead to improved multi-view image representation and more computationally efficient training. Second, in order to improve geometry reconstruction and enable supervision at full image resolution, we extract meshes from the NeRF field in a differentiable manner and fine-tune the NeRF model through mesh rendering. These modifications allow us to achieve state-of-the-art performance on both 2D and 3D evaluation metrics, such as a PSNR of 28.67 on Google Scanned Objects (GSO) dataset. Despite these superior results, our feed-forward model still struggles to reconstruct complex textures, such as text and portraits on assets. To address this, we introduce a lightweight per-instance texture refinement procedure. This procedure fine-tunes the triplane representation and the NeRF color estimation model on the mesh surface using the input multi-view images in just 4 seconds. This refinement improves the PSNR to 29.79 and achieves faithful reconstruction of complex textures, such as text. Additionally, our approach enables various downstream applications, including text- or image-to-3D generation.

GTR: Miglioramento dei modelli di ricostruzione 3D su larga scala attraverso il perfezionamento della geometria e della texture

GTR: Improving Large 3D Reconstruction Models through Geometry and Texture Refinement

Abstract

Support