Mesh2NeRF: Directe Mesh-supervisie voor Neural Radiance Field Representatie en Generatie

Mesh2NeRF: Direct Mesh Supervision for Neural Radiance Field Representation and Generation

March 28, 2024

Auteurs: Yujin Chen, Yinyu Nie, Benjamin Ummenhofer, Reiner Birkl, Michael Paulitsch, Matthias Müller, Matthias Nießner

cs.AI

Samenvatting

We presenteren Mesh2NeRF, een benadering om grondwaarheid radiance fields af te leiden uit getextureerde meshes voor 3D-generatietaken. Veel 3D-generatieve benaderingen representeren 3D-scènes als radiance fields voor training. Hun grondwaarheid radiance fields worden meestal aangepast vanuit multi-view renderings van een grootschalige synthetische 3D-dataset, wat vaak resulteert in artefacten door occlusies of onderfittingproblemen. In Mesh2NeRF stellen we een analytische oplossing voor om direct grondwaarheid radiance fields te verkrijgen uit 3D-meshes, waarbij het dichtheidsveld wordt gekarakteriseerd met een bezettingsfunctie met een gedefinieerde oppervlaktedikte, en het view-afhankelijke kleur wordt bepaald door een reflectiefunctie die zowel de mesh als de omgevingsverlichting in overweging neemt. Mesh2NeRF extraheert nauwkeurige radiance fields die directe supervisie bieden voor het trainen van generatieve NeRFs en enkele scène-representatie. We valideren de effectiviteit van Mesh2NeRF over verschillende taken, waarbij we een opmerkelijke verbetering van 3.12dB in PSNR bereiken voor viewsynthese in enkele scène-representatie op de ABO-dataset, een 0.69 PSNR-verbetering in de single-view conditionele generatie van ShapeNet Cars, en een aanzienlijk verbeterde mesh-extractie uit NeRF in de onvoorwaardelijke generatie van Objaverse Mugs.

English

We present Mesh2NeRF, an approach to derive ground-truth radiance fields from textured meshes for 3D generation tasks. Many 3D generative approaches represent 3D scenes as radiance fields for training. Their ground-truth radiance fields are usually fitted from multi-view renderings from a large-scale synthetic 3D dataset, which often results in artifacts due to occlusions or under-fitting issues. In Mesh2NeRF, we propose an analytic solution to directly obtain ground-truth radiance fields from 3D meshes, characterizing the density field with an occupancy function featuring a defined surface thickness, and determining view-dependent color through a reflection function considering both the mesh and environment lighting. Mesh2NeRF extracts accurate radiance fields which provides direct supervision for training generative NeRFs and single scene representation. We validate the effectiveness of Mesh2NeRF across various tasks, achieving a noteworthy 3.12dB improvement in PSNR for view synthesis in single scene representation on the ABO dataset, a 0.69 PSNR enhancement in the single-view conditional generation of ShapeNet Cars, and notably improved mesh extraction from NeRF in the unconditional generation of Objaverse Mugs.