Mesh2NeRF : Supervision directe de maillage pour la représentation et la génération de champs de radiance neuronaux

Mesh2NeRF: Direct Mesh Supervision for Neural Radiance Field Representation and Generation

March 28, 2024

Auteurs: Yujin Chen, Yinyu Nie, Benjamin Ummenhofer, Reiner Birkl, Michael Paulitsch, Matthias Müller, Matthias Nießner

cs.AI

Résumé

Nous présentons Mesh2NeRF, une approche permettant de dériver des champs de radiance de référence à partir de maillages texturés pour des tâches de génération 3D. De nombreuses méthodes génératives 3D représentent les scènes 3D sous forme de champs de radiance pour l'entraînement. Leurs champs de radiance de référence sont généralement ajustés à partir de rendus multi-vues issus d'un grand ensemble de données synthétiques 3D, ce qui entraîne souvent des artefacts dus à des occlusions ou à des problèmes de sous-ajustement. Dans Mesh2NeRF, nous proposons une solution analytique pour obtenir directement des champs de radiance de référence à partir de maillages 3D, caractérisant le champ de densité par une fonction d'occupation dotée d'une épaisseur de surface définie, et déterminant la couleur dépendante de la vue via une fonction de réflexion prenant en compte à la fois le maillage et l'éclairage de l'environnement. Mesh2NeRF extrait des champs de radiance précis qui fournissent une supervision directe pour l'entraînement de NeRFs génératifs et la représentation de scènes uniques. Nous validons l'efficacité de Mesh2NeRF sur diverses tâches, obtenant une amélioration notable de 3,12 dB en PSNR pour la synthèse de vues dans la représentation de scènes uniques sur le jeu de données ABO, une augmentation de 0,69 PSNR dans la génération conditionnelle à vue unique de ShapeNet Cars, et une extraction de maillage nettement améliorée à partir de NeRF dans la génération inconditionnelle d'Objaverse Mugs.

English

We present Mesh2NeRF, an approach to derive ground-truth radiance fields from textured meshes for 3D generation tasks. Many 3D generative approaches represent 3D scenes as radiance fields for training. Their ground-truth radiance fields are usually fitted from multi-view renderings from a large-scale synthetic 3D dataset, which often results in artifacts due to occlusions or under-fitting issues. In Mesh2NeRF, we propose an analytic solution to directly obtain ground-truth radiance fields from 3D meshes, characterizing the density field with an occupancy function featuring a defined surface thickness, and determining view-dependent color through a reflection function considering both the mesh and environment lighting. Mesh2NeRF extracts accurate radiance fields which provides direct supervision for training generative NeRFs and single scene representation. We validate the effectiveness of Mesh2NeRF across various tasks, achieving a noteworthy 3.12dB improvement in PSNR for view synthesis in single scene representation on the ABO dataset, a 0.69 PSNR enhancement in the single-view conditional generation of ShapeNet Cars, and notably improved mesh extraction from NeRF in the unconditional generation of Objaverse Mugs.