Dynamische Mesh-Bewuste Radiance Velden

Dynamic Mesh-Aware Radiance Fields

September 8, 2023

Auteurs: Yi-Ling Qiao, Alexander Gao, Yiran Xu, Yue Feng, Jia-Bin Huang, Ming C. Lin

cs.AI

Samenvatting

Het inbedden van polygonale mesh-assets binnen fotorealistische Neural Radiance Fields (NeRF)-volumes, zodat ze kunnen worden gerenderd en hun dynamiek op een fysiek consistente manier met de NeRF kan worden gesimuleerd, is vanuit het systeemperspectief van het integreren van NeRF in de traditionele graphics-pipeline nog weinig onderzocht. Dit artikel ontwerpt een tweerichtingskoppeling tussen mesh en NeRF tijdens rendering en simulatie. We bespreken eerst de lichttransportvergelijkingen voor zowel mesh als NeRF, en destilleren deze vervolgens tot een efficiënt algoritme voor het bijwerken van radiantie en doorvoer langs een geworpen straal met een willekeurig aantal reflecties. Om het verschil op te lossen tussen de lineaire kleurruimte die de padvolger veronderstelt en de sRGB-kleurruimte die standaard NeRF gebruikt, trainen we NeRF met High Dynamic Range (HDR)-afbeeldingen. We presenteren ook een strategie om lichtbronnen te schatten en schaduwen op de NeRF te werpen. Tot slot bekijken we hoe de hybride oppervlakte-volumetrische formulering efficiënt kan worden geïntegreerd met een hoogwaardige fysica-simulator die stoffen, rigide en zachte lichamen ondersteunt. Het volledige render- en simulatiewysteem kan op een GPU worden uitgevoerd met interactieve snelheden. We tonen aan dat een hybride systeemaanpak alternatieven overtreft in visuele realisme voor mesh-invoeging, omdat het realistisch lichttransport mogelijk maakt vanuit volumetrische NeRF-media naar oppervlakken, wat het uiterlijk van reflecterende/brekende oppervlakken en de verlichting van diffuse oppervlakken beïnvloedt, geïnformeerd door de dynamische scène.

English

Embedding polygonal mesh assets within photorealistic Neural Radience Fields (NeRF) volumes, such that they can be rendered and their dynamics simulated in a physically consistent manner with the NeRF, is under-explored from the system perspective of integrating NeRF into the traditional graphics pipeline. This paper designs a two-way coupling between mesh and NeRF during rendering and simulation. We first review the light transport equations for both mesh and NeRF, then distill them into an efficient algorithm for updating radiance and throughput along a cast ray with an arbitrary number of bounces. To resolve the discrepancy between the linear color space that the path tracer assumes and the sRGB color space that standard NeRF uses, we train NeRF with High Dynamic Range (HDR) images. We also present a strategy to estimate light sources and cast shadows on the NeRF. Finally, we consider how the hybrid surface-volumetric formulation can be efficiently integrated with a high-performance physics simulator that supports cloth, rigid and soft bodies. The full rendering and simulation system can be run on a GPU at interactive rates. We show that a hybrid system approach outperforms alternatives in visual realism for mesh insertion, because it allows realistic light transport from volumetric NeRF media onto surfaces, which affects the appearance of reflective/refractive surfaces and illumination of diffuse surfaces informed by the dynamic scene.