Mesh2NeRF: ニューラルラジアンスフィールド表現と生成のための直接メッシュ監視

Mesh2NeRF: Direct Mesh Supervision for Neural Radiance Field Representation and Generation

March 28, 2024

著者: Yujin Chen, Yinyu Nie, Benjamin Ummenhofer, Reiner Birkl, Michael Paulitsch, Matthias Müller, Matthias Nießner

cs.AI

要旨

本研究では、3D生成タスクのためのテクスチャ付きメッシュからグラウンドトゥルースの放射場を導出する手法であるMesh2NeRFを提案します。多くの3D生成手法では、3Dシーンを放射場として表現して学習を行います。これらのグラウンドトゥルース放射場は、通常、大規模な合成3Dデータセットからの多視点レンダリングからフィッティングされますが、オクルージョンやフィッティング不足によるアーティファクトが生じることがよくあります。Mesh2NeRFでは、3Dメッシュから直接グラウンドトゥルース放射場を取得する解析的解法を提案します。具体的には、定義された表面厚さを持つ占有関数を用いて密度場を特徴付け、メッシュと環境照明の両方を考慮した反射関数によって視点依存の色を決定します。Mesh2NeRFは、生成型NeRFや単一シーン表現の学習に直接的な教師信号を提供する正確な放射場を抽出します。本手法の有効性を様々なタスクで検証し、ABOデータセットにおける単一シーン表現のビュー合成ではPSNRが3.12dB向上し、ShapeNet Carsの単一視点条件付き生成では0.69 PSNRの向上、Objaverse Mugsの無条件生成ではNeRFからのメッシュ抽出が顕著に改善されることを確認しました。

English

We present Mesh2NeRF, an approach to derive ground-truth radiance fields from textured meshes for 3D generation tasks. Many 3D generative approaches represent 3D scenes as radiance fields for training. Their ground-truth radiance fields are usually fitted from multi-view renderings from a large-scale synthetic 3D dataset, which often results in artifacts due to occlusions or under-fitting issues. In Mesh2NeRF, we propose an analytic solution to directly obtain ground-truth radiance fields from 3D meshes, characterizing the density field with an occupancy function featuring a defined surface thickness, and determining view-dependent color through a reflection function considering both the mesh and environment lighting. Mesh2NeRF extracts accurate radiance fields which provides direct supervision for training generative NeRFs and single scene representation. We validate the effectiveness of Mesh2NeRF across various tasks, achieving a noteworthy 3.12dB improvement in PSNR for view synthesis in single scene representation on the ABO dataset, a 0.69 PSNR enhancement in the single-view conditional generation of ShapeNet Cars, and notably improved mesh extraction from NeRF in the unconditional generation of Objaverse Mugs.