動的メッシュ対応放射フィールド

Dynamic Mesh-Aware Radiance Fields

September 8, 2023

著者: Yi-Ling Qiao, Alexander Gao, Yiran Xu, Yue Feng, Jia-Bin Huang, Ming C. Lin

cs.AI

要旨

フォトリアルなNeural Radiance Fields（NeRF）ボリューム内に多角形メッシュアセットを埋め込み、NeRFと物理的に整合性のある方法でレンダリングおよびダイナミクスシミュレーションを行うことは、NeRFを従来のグラフィックスパイプラインに統合するシステムの観点からは未開拓の領域です。本論文では、レンダリングとシミュレーション中にメッシュとNeRFの双方向結合を設計します。まず、メッシュとNeRFの光輸送方程式をレビューし、それらを任意のバウンス数を持つキャストレイに沿った放射輝度とスループットを効率的に更新するアルゴリズムに蒸留します。パストレーサーが想定する線形カラースペースと標準NeRFが使用するsRGBカラースペースの不一致を解決するため、High Dynamic Range（HDR）画像でNeRFをトレーニングします。また、NeRF上の光源を推定し、影を落とす戦略を提示します。最後に、ハイブリッドな表面-体積定式化が、布、剛体、軟体をサポートする高性能物理シミュレータと効率的に統合される方法を考察します。完全なレンダリングおよびシミュレーションシステムは、GPU上でインタラクティブな速度で実行可能です。ハイブリッドシステムアプローチは、体積NeRFメディアから表面への現実的な光輸送を可能にするため、メッシュ挿入における視覚的リアリズムの点で代替手法を上回ることを示します。これは、反射/屈折面の外観や、動的シーンに基づく拡散面の照明に影響を与えます。

English

Embedding polygonal mesh assets within photorealistic Neural Radience Fields (NeRF) volumes, such that they can be rendered and their dynamics simulated in a physically consistent manner with the NeRF, is under-explored from the system perspective of integrating NeRF into the traditional graphics pipeline. This paper designs a two-way coupling between mesh and NeRF during rendering and simulation. We first review the light transport equations for both mesh and NeRF, then distill them into an efficient algorithm for updating radiance and throughput along a cast ray with an arbitrary number of bounces. To resolve the discrepancy between the linear color space that the path tracer assumes and the sRGB color space that standard NeRF uses, we train NeRF with High Dynamic Range (HDR) images. We also present a strategy to estimate light sources and cast shadows on the NeRF. Finally, we consider how the hybrid surface-volumetric formulation can be efficiently integrated with a high-performance physics simulator that supports cloth, rigid and soft bodies. The full rendering and simulation system can be run on a GPU at interactive rates. We show that a hybrid system approach outperforms alternatives in visual realism for mesh insertion, because it allows realistic light transport from volumetric NeRF media onto surfaces, which affects the appearance of reflective/refractive surfaces and illumination of diffuse surfaces informed by the dynamic scene.