Campi di Radianza Dinamici Consapevoli della Mesh

Dynamic Mesh-Aware Radiance Fields

September 8, 2023

Autori: Yi-Ling Qiao, Alexander Gao, Yiran Xu, Yue Feng, Jia-Bin Huang, Ming C. Lin

cs.AI

Abstract

L'integrazione di asset mesh poligonali all'interno di volumi Neural Radiance Fields (NeRF) fotorealistici, in modo che possano essere renderizzati e le loro dinamiche simulate in maniera fisicamente coerente con il NeRF, è un ambito poco esplorato dal punto di vista sistemico dell'integrazione del NeRF nel tradizionale pipeline grafico. Questo articolo progetta un accoppiamento bidirezionale tra mesh e NeRF durante il rendering e la simulazione. Inizialmente, esaminiamo le equazioni del trasporto della luce sia per la mesh che per il NeRF, per poi distillarle in un algoritmo efficiente per aggiornare la radianza e il throughput lungo un raggio lanciato con un numero arbitrario di rimbalzi. Per risolvere la discrepanza tra lo spazio colore lineare assunto dal path tracer e lo spazio colore sRGB utilizzato dal NeRF standard, addestriamo il NeRF con immagini High Dynamic Range (HDR). Presentiamo inoltre una strategia per stimare le sorgenti luminose e proiettare ombre sul NeRF. Infine, consideriamo come la formulazione ibrida superficie-volumetrica possa essere efficientemente integrata con un simulatore fisico ad alte prestazioni che supporta tessuti, corpi rigidi e morbidi. L'intero sistema di rendering e simulazione può essere eseguito su una GPU a velocità interattive. Dimostriamo che un approccio ibrido supera le alternative in termini di realismo visivo per l'inserimento di mesh, poiché consente un trasporto realistico della luce dai mezzi volumetrici NeRF sulle superfici, influenzando l'aspetto delle superfici riflettenti/rifrangenti e l'illuminazione delle superfici diffuse informate dalla scena dinamica.

English

Embedding polygonal mesh assets within photorealistic Neural Radience Fields (NeRF) volumes, such that they can be rendered and their dynamics simulated in a physically consistent manner with the NeRF, is under-explored from the system perspective of integrating NeRF into the traditional graphics pipeline. This paper designs a two-way coupling between mesh and NeRF during rendering and simulation. We first review the light transport equations for both mesh and NeRF, then distill them into an efficient algorithm for updating radiance and throughput along a cast ray with an arbitrary number of bounces. To resolve the discrepancy between the linear color space that the path tracer assumes and the sRGB color space that standard NeRF uses, we train NeRF with High Dynamic Range (HDR) images. We also present a strategy to estimate light sources and cast shadows on the NeRF. Finally, we consider how the hybrid surface-volumetric formulation can be efficiently integrated with a high-performance physics simulator that supports cloth, rigid and soft bodies. The full rendering and simulation system can be run on a GPU at interactive rates. We show that a hybrid system approach outperforms alternatives in visual realism for mesh insertion, because it allows realistic light transport from volumetric NeRF media onto surfaces, which affects the appearance of reflective/refractive surfaces and illumination of diffuse surfaces informed by the dynamic scene.