GTR: Verbetering van grote 3D-reconstructiemodellen door geometrie- en textuurverfijning

Samenvatting

We stellen een nieuwe aanpak voor 3D-meshreconstructie vanuit meerdere beeldhoeken voor. Onze methode is geïnspireerd op grote reconstructiemodellen zoals LRM, die gebruikmaken van een transformer-gebaseerd triplane-generator en een Neural Radiance Field (NeRF)-model getraind op meerdere beeldhoeken. In onze methode introduceren we echter enkele belangrijke aanpassingen die het mogelijk maken om de kwaliteit van de 3D-reconstructie aanzienlijk te verbeteren. Ten eerste onderzoeken we de oorspronkelijke LRM-architectuur en identificeren we enkele tekortkomingen. Vervolgens introduceren we respectievelijke aanpassingen aan de LRM-architectuur, wat leidt tot een verbeterde representatie van meerdere beeldhoeken en een rekenkundig efficiëntere training. Ten tweede, om de geometriereconstructie te verbeteren en supervisie op volledige beeldresolutie mogelijk te maken, extraheren we meshes op een differentieerbare manier uit het NeRF-veld en finetunen we het NeRF-model via mesh-rendering. Deze aanpassingen stellen ons in staat om state-of-the-art prestaties te behalen op zowel 2D- als 3D-evaluatiemetrics, zoals een PSNR van 28.67 op de Google Scanned Objects (GSO)-dataset. Ondanks deze superieure resultaten heeft ons feed-forward model nog steeds moeite met het reconstrueren van complexe texturen, zoals tekst en portretten op objecten. Om dit aan te pakken, introduceren we een lichtgewicht per-instantie texture-verfijningsprocedure. Deze procedure finetunt de triplane-representatie en het NeRF-kleurestimatiemodel op het mesh-oppervlak met behulp van de invoerbeelden vanuit meerdere hoeken in slechts 4 seconden. Deze verfijning verbetert de PSNR tot 29.79 en zorgt voor een nauwkeurige reconstructie van complexe texturen, zoals tekst. Daarnaast maakt onze aanpak verschillende downstream-toepassingen mogelijk, waaronder tekst- of beeld-naar-3D-generatie.

English

We propose a novel approach for 3D mesh reconstruction from multi-view images. Our method takes inspiration from large reconstruction models like LRM that use a transformer-based triplane generator and a Neural Radiance Field (NeRF) model trained on multi-view images. However, in our method, we introduce several important modifications that allow us to significantly enhance 3D reconstruction quality. First of all, we examine the original LRM architecture and find several shortcomings. Subsequently, we introduce respective modifications to the LRM architecture, which lead to improved multi-view image representation and more computationally efficient training. Second, in order to improve geometry reconstruction and enable supervision at full image resolution, we extract meshes from the NeRF field in a differentiable manner and fine-tune the NeRF model through mesh rendering. These modifications allow us to achieve state-of-the-art performance on both 2D and 3D evaluation metrics, such as a PSNR of 28.67 on Google Scanned Objects (GSO) dataset. Despite these superior results, our feed-forward model still struggles to reconstruct complex textures, such as text and portraits on assets. To address this, we introduce a lightweight per-instance texture refinement procedure. This procedure fine-tunes the triplane representation and the NeRF color estimation model on the mesh surface using the input multi-view images in just 4 seconds. This refinement improves the PSNR to 29.79 and achieves faithful reconstruction of complex textures, such as text. Additionally, our approach enables various downstream applications, including text- or image-to-3D generation.

GTR: Verbetering van grote 3D-reconstructiemodellen door geometrie- en textuurverfijning

GTR: Improving Large 3D Reconstruction Models through Geometry and Texture Refinement

Samenvatting

Support