Mesh2NeRF: Supervisión Directa de Mallas para la Representación y Generación de Campos de Radiancia Neural

Mesh2NeRF: Direct Mesh Supervision for Neural Radiance Field Representation and Generation

March 28, 2024

Autores: Yujin Chen, Yinyu Nie, Benjamin Ummenhofer, Reiner Birkl, Michael Paulitsch, Matthias Müller, Matthias Nießner

cs.AI

Resumen

Presentamos Mesh2NeRF, un enfoque para derivar campos de radiancia de referencia a partir de mallas texturizadas para tareas de generación 3D. Muchos enfoques generativos 3D representan escenas 3D como campos de radiancia para el entrenamiento. Sus campos de radiancia de referencia suelen ajustarse a partir de renderizaciones multivista de un conjunto de datos sintéticos 3D a gran escala, lo que a menudo resulta en artefactos debido a oclusiones o problemas de subajuste. En Mesh2NeRF, proponemos una solución analítica para obtener directamente campos de radiancia de referencia a partir de mallas 3D, caracterizando el campo de densidad con una función de ocupación que presenta un grosor de superficie definido, y determinando el color dependiente de la vista a través de una función de reflexión que considera tanto la malla como la iluminación del entorno. Mesh2NeRF extrae campos de radiancia precisos que proporcionan supervisión directa para entrenar NeRFs generativos y la representación de escenas individuales. Validamos la efectividad de Mesh2NeRF en diversas tareas, logrando una mejora notable de 3.12 dB en PSNR para la síntesis de vistas en la representación de escenas individuales en el conjunto de datos ABO, una mejora de 0.69 PSNR en la generación condicional de una sola vista de ShapeNet Cars, y una extracción de mallas notablemente mejorada a partir de NeRF en la generación incondicional de Objaverse Mugs.

English

We present Mesh2NeRF, an approach to derive ground-truth radiance fields from textured meshes for 3D generation tasks. Many 3D generative approaches represent 3D scenes as radiance fields for training. Their ground-truth radiance fields are usually fitted from multi-view renderings from a large-scale synthetic 3D dataset, which often results in artifacts due to occlusions or under-fitting issues. In Mesh2NeRF, we propose an analytic solution to directly obtain ground-truth radiance fields from 3D meshes, characterizing the density field with an occupancy function featuring a defined surface thickness, and determining view-dependent color through a reflection function considering both the mesh and environment lighting. Mesh2NeRF extracts accurate radiance fields which provides direct supervision for training generative NeRFs and single scene representation. We validate the effectiveness of Mesh2NeRF across various tasks, achieving a noteworthy 3.12dB improvement in PSNR for view synthesis in single scene representation on the ABO dataset, a 0.69 PSNR enhancement in the single-view conditional generation of ShapeNet Cars, and notably improved mesh extraction from NeRF in the unconditional generation of Objaverse Mugs.