Mesh2NeRF: Supervisão Direta de Malhas para Representação e Geração de Campos de Radiação Neural

Mesh2NeRF: Direct Mesh Supervision for Neural Radiance Field Representation and Generation

March 28, 2024

Autores: Yujin Chen, Yinyu Nie, Benjamin Ummenhofer, Reiner Birkl, Michael Paulitsch, Matthias Müller, Matthias Nießner

cs.AI

Resumo

Apresentamos o Mesh2NeRF, uma abordagem para derivar campos de radiação de referência a partir de malhas texturizadas para tarefas de geração 3D. Muitas abordagens generativas 3D representam cenas 3D como campos de radiação para treinamento. Seus campos de radiação de referência são geralmente ajustados a partir de renderizações multi-visão de um grande conjunto de dados sintéticos 3D, o que frequentemente resulta em artefatos devido a oclusões ou problemas de subajuste. No Mesh2NeRF, propomos uma solução analítica para obter diretamente campos de radiação de referência a partir de malhas 3D, caracterizando o campo de densidade com uma função de ocupação que apresenta uma espessura de superfície definida, e determinando a cor dependente da visão por meio de uma função de reflexão que considera tanto a malha quanto a iluminação do ambiente. O Mesh2NeRF extrai campos de radiação precisos que fornecem supervisão direta para o treinamento de NeRFs generativos e a representação de cena única. Validamos a eficácia do Mesh2NeRF em várias tarefas, alcançando uma melhoria notável de 3.12 dB no PSNR para síntese de visão na representação de cena única no conjunto de dados ABO, um aumento de 0.69 no PSNR na geração condicional de visão única de carros do ShapeNet, e uma melhoria significativa na extração de malhas a partir de NeRF na geração incondicional de canecas do Objaverse.

English

We present Mesh2NeRF, an approach to derive ground-truth radiance fields from textured meshes for 3D generation tasks. Many 3D generative approaches represent 3D scenes as radiance fields for training. Their ground-truth radiance fields are usually fitted from multi-view renderings from a large-scale synthetic 3D dataset, which often results in artifacts due to occlusions or under-fitting issues. In Mesh2NeRF, we propose an analytic solution to directly obtain ground-truth radiance fields from 3D meshes, characterizing the density field with an occupancy function featuring a defined surface thickness, and determining view-dependent color through a reflection function considering both the mesh and environment lighting. Mesh2NeRF extracts accurate radiance fields which provides direct supervision for training generative NeRFs and single scene representation. We validate the effectiveness of Mesh2NeRF across various tasks, achieving a noteworthy 3.12dB improvement in PSNR for view synthesis in single scene representation on the ABO dataset, a 0.69 PSNR enhancement in the single-view conditional generation of ShapeNet Cars, and notably improved mesh extraction from NeRF in the unconditional generation of Objaverse Mugs.