Mesh2NeRF: Direkte Gitterüberwachung für neuronales Strahlungsfeld Darstellung und Generierung

Mesh2NeRF: Direct Mesh Supervision for Neural Radiance Field Representation and Generation

March 28, 2024

Autoren: Yujin Chen, Yinyu Nie, Benjamin Ummenhofer, Reiner Birkl, Michael Paulitsch, Matthias Müller, Matthias Nießner

cs.AI

Zusammenfassung

Wir präsentieren Mesh2NeRF, einen Ansatz zur Ableitung von Ground-Truth-Radiance-Feldern aus texturierten Meshes für 3D-Generierungsaufgaben. Viele 3D-generative Ansätze stellen 3D-Szenen als Radiance-Felder für das Training dar. Deren Ground-Truth-Radiance-Felder werden in der Regel aus Multi-View-Renderings aus einem groß angelegten synthetischen 3D-Datensatz angepasst, was häufig zu Artefakten aufgrund von Okklusionen oder Unteranpassungsproblemen führt. In Mesh2NeRF schlagen wir eine analytische Lösung vor, um Ground-Truth-Radiance-Felder direkt aus 3D-Meshes zu erhalten, wobei das Dichtefeld mit einer Besetzungs-Funktion charakterisiert wird, die eine definierte Oberflächendicke aufweist, und die ansichtsabhängige Farbe durch eine Reflexionsfunktion bestimmt wird, die sowohl das Mesh als auch die Umgebungsbeleuchtung berücksichtigt. Mesh2NeRF extrahiert genaue Radiance-Felder, die eine direkte Aufsicht für das Training generativer NeRFs und die einzeilige Szenendarstellung bieten. Wir validieren die Wirksamkeit von Mesh2NeRF in verschiedenen Aufgaben und erzielen eine bemerkenswerte Verbesserung von 3,12 dB im PSNR für die Ansichtssynthese in der einzeiligen Szenendarstellung auf dem ABO-Datensatz, eine PSNR-Verbesserung von 0,69 bei der einzeiligen bedingten Generierung von ShapeNet Cars und eine deutlich verbesserte Mesh-Extraktion aus NeRF bei der bedingungslosen Generierung von Objaverse Mugs.

English

We present Mesh2NeRF, an approach to derive ground-truth radiance fields from textured meshes for 3D generation tasks. Many 3D generative approaches represent 3D scenes as radiance fields for training. Their ground-truth radiance fields are usually fitted from multi-view renderings from a large-scale synthetic 3D dataset, which often results in artifacts due to occlusions or under-fitting issues. In Mesh2NeRF, we propose an analytic solution to directly obtain ground-truth radiance fields from 3D meshes, characterizing the density field with an occupancy function featuring a defined surface thickness, and determining view-dependent color through a reflection function considering both the mesh and environment lighting. Mesh2NeRF extracts accurate radiance fields which provides direct supervision for training generative NeRFs and single scene representation. We validate the effectiveness of Mesh2NeRF across various tasks, achieving a noteworthy 3.12dB improvement in PSNR for view synthesis in single scene representation on the ABO dataset, a 0.69 PSNR enhancement in the single-view conditional generation of ShapeNet Cars, and notably improved mesh extraction from NeRF in the unconditional generation of Objaverse Mugs.