Mesh2NeRF: 신경 방사 필드 표현 및 생성을 위한 직접적인 메쉬 지도 학습

Mesh2NeRF: Direct Mesh Supervision for Neural Radiance Field Representation and Generation

March 28, 2024

저자: Yujin Chen, Yinyu Nie, Benjamin Ummenhofer, Reiner Birkl, Michael Paulitsch, Matthias Müller, Matthias Nießner

cs.AI

초록

우리는 3D 생성 작업을 위해 텍스처가 적용된 메시로부터 정확한 라디언스 필드를 도출하는 Mesh2NeRF 접근법을 제안합니다. 많은 3D 생성 방법들은 훈련을 위해 3D 장면을 라디언스 필드로 표현합니다. 이들의 정확한 라디언스 필드는 일반적으로 대규모 합성 3D 데이터셋의 다중 뷰 렌더링으로부터 피팅되며, 이는 종종 가림 현상이나 과소적합 문제로 인해 아티팩트를 발생시킵니다. Mesh2NeRF에서는 3D 메시로부터 직접 정확한 라디언스 필드를 얻기 위한 해석적 솔루션을 제안합니다. 여기서는 정의된 표면 두께를 특징으로 하는 점유 함수로 밀도 필드를 특성화하고, 메시와 환경 조명을 모두 고려한 반사 함수를 통해 뷰 의존적 색상을 결정합니다. Mesh2NeRF는 정확한 라디언스 필드를 추출하여 생성적 NeRF와 단일 장면 표현을 훈련시키기 위한 직접적인 지도를 제공합니다. 우리는 Mesh2NeRF의 효과를 다양한 작업에서 검증하였으며, ABO 데이터셋에서 단일 장면 표현의 뷰 합성을 위해 PSNR에서 3.12dB의 주목할 만한 개선을 달성했고, ShapeNet Cars의 단일 뷰 조건부 생성에서 0.69 PSNR 향상을 보였으며, Objaverse Mugs의 무조건 생성에서 NeRF로부터의 메시 추출이 크게 개선되었음을 확인했습니다.

English

We present Mesh2NeRF, an approach to derive ground-truth radiance fields from textured meshes for 3D generation tasks. Many 3D generative approaches represent 3D scenes as radiance fields for training. Their ground-truth radiance fields are usually fitted from multi-view renderings from a large-scale synthetic 3D dataset, which often results in artifacts due to occlusions or under-fitting issues. In Mesh2NeRF, we propose an analytic solution to directly obtain ground-truth radiance fields from 3D meshes, characterizing the density field with an occupancy function featuring a defined surface thickness, and determining view-dependent color through a reflection function considering both the mesh and environment lighting. Mesh2NeRF extracts accurate radiance fields which provides direct supervision for training generative NeRFs and single scene representation. We validate the effectiveness of Mesh2NeRF across various tasks, achieving a noteworthy 3.12dB improvement in PSNR for view synthesis in single scene representation on the ABO dataset, a 0.69 PSNR enhancement in the single-view conditional generation of ShapeNet Cars, and notably improved mesh extraction from NeRF in the unconditional generation of Objaverse Mugs.