Динамические радиансные поля с учетом сетки

Dynamic Mesh-Aware Radiance Fields

September 8, 2023

Авторы: Yi-Ling Qiao, Alexander Gao, Yiran Xu, Yue Feng, Jia-Bin Huang, Ming C. Lin

cs.AI

Аннотация

Встраивание полигональных сеточных объектов в фотореалистичные объемы Neural Radiance Fields (NeRF) таким образом, чтобы их можно было визуализировать и симулировать их динамику физически согласованно с NeRF, остается малоизученным с точки зрения системной интеграции NeRF в традиционный графический конвейер. В данной статье разрабатывается двусторонняя связь между сеткой и NeRF в процессе визуализации и симуляции. Сначала мы рассматриваем уравнения переноса света для сетки и NeRF, а затем сводим их в эффективный алгоритм для обновления излучения и пропускной способности вдоль луча с произвольным количеством отражений. Чтобы устранить несоответствие между линейным цветовым пространством, которое предполагает трассировщик путей, и цветовым пространством sRGB, используемым в стандартном NeRF, мы обучаем NeRF с использованием изображений с высоким динамическим диапазоном (HDR). Также представлена стратегия для оценки источников света и отбрасывания теней на NeRF. Наконец, мы рассматриваем, как гибридная поверхностно-объемная формулировка может быть эффективно интегрирована с высокопроизводительным физическим симулятором, поддерживающим ткани, твердые и мягкие тела. Полная система визуализации и симуляции может работать на GPU с интерактивной скоростью. Мы показываем, что гибридный системный подход превосходит альтернативы в визуальной реалистичности при вставке сеток, поскольку он позволяет реалистично моделировать перенос света из объемной среды NeRF на поверхности, что влияет на внешний вид отражающих/преломляющих поверхностей и освещение диффузных поверхностей, учитывая динамику сцены.

English

Embedding polygonal mesh assets within photorealistic Neural Radience Fields (NeRF) volumes, such that they can be rendered and their dynamics simulated in a physically consistent manner with the NeRF, is under-explored from the system perspective of integrating NeRF into the traditional graphics pipeline. This paper designs a two-way coupling between mesh and NeRF during rendering and simulation. We first review the light transport equations for both mesh and NeRF, then distill them into an efficient algorithm for updating radiance and throughput along a cast ray with an arbitrary number of bounces. To resolve the discrepancy between the linear color space that the path tracer assumes and the sRGB color space that standard NeRF uses, we train NeRF with High Dynamic Range (HDR) images. We also present a strategy to estimate light sources and cast shadows on the NeRF. Finally, we consider how the hybrid surface-volumetric formulation can be efficiently integrated with a high-performance physics simulator that supports cloth, rigid and soft bodies. The full rendering and simulation system can be run on a GPU at interactive rates. We show that a hybrid system approach outperforms alternatives in visual realism for mesh insertion, because it allows realistic light transport from volumetric NeRF media onto surfaces, which affects the appearance of reflective/refractive surfaces and illumination of diffuse surfaces informed by the dynamic scene.