Dynamische netzwerkbewusste Strahlungsfelder

Dynamic Mesh-Aware Radiance Fields

September 8, 2023

Autoren: Yi-Ling Qiao, Alexander Gao, Yiran Xu, Yue Feng, Jia-Bin Huang, Ming C. Lin

cs.AI

Zusammenfassung

Das Einbetten von polygonalen Netz-Assets in fotorealistische Neural Radiance Fields (NeRF)-Volumen, sodass sie gerendert und ihre Dynamik in physikalisch konsistenter Weise mit dem NeRF simuliert werden können, ist aus der Systemperspektive der Integration von NeRF in die traditionelle Grafikpipeline noch wenig erforscht. Dieses Papier entwirft eine bidirektionale Kopplung zwischen Netz und NeRF während des Renderns und der Simulation. Zunächst überprüfen wir die Lichttransportgleichungen für sowohl Netz als auch NeRF und destillieren sie in einen effizienten Algorithmus zur Aktualisierung von Radianz und Durchsatz entlang eines geworfenen Strahls mit einer beliebigen Anzahl von Abprallern. Um die Diskrepanz zwischen dem linearen Farbraum, den der Pfadverfolger annimmt, und dem sRGB-Farbraum, den standardmäßige NeRF verwenden, zu lösen, trainieren wir NeRF mit High Dynamic Range (HDR)-Bildern. Wir präsentieren auch eine Strategie zur Schätzung von Lichtquellen und zum Werfen von Schatten auf dem NeRF. Schließlich betrachten wir, wie die hybride Oberflächen-Volumen-Formulierung effizient mit einem leistungsstarken Physiksimulator integriert werden kann, der Stoff, starre und weiche Körper unterstützt. Das vollständige Rendering- und Simulationssystem kann auf einer GPU mit interaktiven Raten ausgeführt werden. Wir zeigen, dass ein hybrides Systemansatz Alternativen in Bezug auf visuelle Realismus bei der Netz-Einfügung übertrifft, da er realistischen Lichttransport von volumetrischen NeRF-Medien auf Oberflächen ermöglicht, was das Aussehen von reflektierenden/brechenden Oberflächen und die Beleuchtung diffuser Oberflächen beeinflusst, die durch die dynamische Szene informiert werden.

English

Embedding polygonal mesh assets within photorealistic Neural Radience Fields (NeRF) volumes, such that they can be rendered and their dynamics simulated in a physically consistent manner with the NeRF, is under-explored from the system perspective of integrating NeRF into the traditional graphics pipeline. This paper designs a two-way coupling between mesh and NeRF during rendering and simulation. We first review the light transport equations for both mesh and NeRF, then distill them into an efficient algorithm for updating radiance and throughput along a cast ray with an arbitrary number of bounces. To resolve the discrepancy between the linear color space that the path tracer assumes and the sRGB color space that standard NeRF uses, we train NeRF with High Dynamic Range (HDR) images. We also present a strategy to estimate light sources and cast shadows on the NeRF. Finally, we consider how the hybrid surface-volumetric formulation can be efficiently integrated with a high-performance physics simulator that supports cloth, rigid and soft bodies. The full rendering and simulation system can be run on a GPU at interactive rates. We show that a hybrid system approach outperforms alternatives in visual realism for mesh insertion, because it allows realistic light transport from volumetric NeRF media onto surfaces, which affects the appearance of reflective/refractive surfaces and illumination of diffuse surfaces informed by the dynamic scene.