Mesh2NeRF: Supervisione Diretta di Mesh per la Rappresentazione e Generazione di Campi di Radianza Neurali

Mesh2NeRF: Direct Mesh Supervision for Neural Radiance Field Representation and Generation

March 28, 2024

Autori: Yujin Chen, Yinyu Nie, Benjamin Ummenhofer, Reiner Birkl, Michael Paulitsch, Matthias Müller, Matthias Nießner

cs.AI

Abstract

Presentiamo Mesh2NeRF, un approccio per derivare campi di radianza di riferimento da mesh testurizzate per compiti di generazione 3D. Molti metodi generativi 3D rappresentano scene 3D come campi di radianza per l'addestramento. I loro campi di radianza di riferimento sono solitamente adattati da rendering multi-vista provenienti da un ampio dataset sintetico 3D, il che spesso porta ad artefatti dovuti a occlusioni o problemi di under-fitting. In Mesh2NeRF, proponiamo una soluzione analitica per ottenere direttamente campi di radianza di riferimento da mesh 3D, caratterizzando il campo di densità con una funzione di occupazione che presenta uno spessore superficiale definito, e determinando il colore dipendente dalla vista attraverso una funzione di riflessione che considera sia la mesh che l'illuminazione ambientale. Mesh2NeRF estrae campi di radianza accurati che forniscono una supervisione diretta per l'addestramento di NeRF generativi e la rappresentazione di scene singole. Validiamo l'efficacia di Mesh2NeRF in vari compiti, ottenendo un miglioramento significativo di 3.12 dB in PSNR per la sintesi di viste nella rappresentazione di scene singole sul dataset ABO, un incremento di 0.69 PSNR nella generazione condizionata da singola vista di ShapeNet Cars, e un notevole miglioramento nell'estrazione di mesh da NeRF nella generazione non condizionata di Objaverse Mugs.

English

We present Mesh2NeRF, an approach to derive ground-truth radiance fields from textured meshes for 3D generation tasks. Many 3D generative approaches represent 3D scenes as radiance fields for training. Their ground-truth radiance fields are usually fitted from multi-view renderings from a large-scale synthetic 3D dataset, which often results in artifacts due to occlusions or under-fitting issues. In Mesh2NeRF, we propose an analytic solution to directly obtain ground-truth radiance fields from 3D meshes, characterizing the density field with an occupancy function featuring a defined surface thickness, and determining view-dependent color through a reflection function considering both the mesh and environment lighting. Mesh2NeRF extracts accurate radiance fields which provides direct supervision for training generative NeRFs and single scene representation. We validate the effectiveness of Mesh2NeRF across various tasks, achieving a noteworthy 3.12dB improvement in PSNR for view synthesis in single scene representation on the ABO dataset, a 0.69 PSNR enhancement in the single-view conditional generation of ShapeNet Cars, and notably improved mesh extraction from NeRF in the unconditional generation of Objaverse Mugs.