Champs de Radiance Dynamiques Conscients de la Maillage

Dynamic Mesh-Aware Radiance Fields

September 8, 2023

Auteurs: Yi-Ling Qiao, Alexander Gao, Yiran Xu, Yue Feng, Jia-Bin Huang, Ming C. Lin

cs.AI

Résumé

L'intégration d'actifs de maillages polygonaux dans des volumes de Neural Radiance Fields (NeRF) photoréalistes, de manière à ce qu'ils puissent être rendus et leurs dynamiques simulées de façon physiquement cohérente avec le NeRF, reste peu explorée du point de vue systémique de l'intégration du NeRF dans le pipeline graphique traditionnel. Cet article conçoit un couplage bidirectionnel entre le maillage et le NeRF lors du rendu et de la simulation. Nous examinons d'abord les équations de transport de la lumière pour le maillage et le NeRF, puis les distillons en un algorithme efficace pour mettre à jour la radiance et le débit le long d'un rayon lancé avec un nombre arbitraire de rebonds. Pour résoudre l'écart entre l'espace colorimétrique linéaire que suppose le tracé de chemin et l'espace colorimétrique sRGB utilisé par le NeRF standard, nous entraînons le NeRF avec des images à plage dynamique étendue (HDR). Nous présentons également une stratégie pour estimer les sources lumineuses et projeter des ombres sur le NeRF. Enfin, nous examinons comment la formulation hybride surface-volumétrique peut être efficacement intégrée avec un simulateur physique haute performance prenant en charge les tissus, les corps rigides et les corps mous. Le système complet de rendu et de simulation peut être exécuté sur un GPU à des taux interactifs. Nous montrons qu'une approche système hybride surpasse les alternatives en termes de réalisme visuel pour l'insertion de maillages, car elle permet un transport réaliste de la lumière depuis les milieux volumétriques du NeRF vers les surfaces, ce qui affecte l'apparence des surfaces réfléchissantes/réfractives et l'éclairage des surfaces diffuses informé par la scène dynamique.

English

Embedding polygonal mesh assets within photorealistic Neural Radience Fields (NeRF) volumes, such that they can be rendered and their dynamics simulated in a physically consistent manner with the NeRF, is under-explored from the system perspective of integrating NeRF into the traditional graphics pipeline. This paper designs a two-way coupling between mesh and NeRF during rendering and simulation. We first review the light transport equations for both mesh and NeRF, then distill them into an efficient algorithm for updating radiance and throughput along a cast ray with an arbitrary number of bounces. To resolve the discrepancy between the linear color space that the path tracer assumes and the sRGB color space that standard NeRF uses, we train NeRF with High Dynamic Range (HDR) images. We also present a strategy to estimate light sources and cast shadows on the NeRF. Finally, we consider how the hybrid surface-volumetric formulation can be efficiently integrated with a high-performance physics simulator that supports cloth, rigid and soft bodies. The full rendering and simulation system can be run on a GPU at interactive rates. We show that a hybrid system approach outperforms alternatives in visual realism for mesh insertion, because it allows realistic light transport from volumetric NeRF media onto surfaces, which affects the appearance of reflective/refractive surfaces and illumination of diffuse surfaces informed by the dynamic scene.