Campos Radiantes Dinámicos Conscientes de la Malla

Dynamic Mesh-Aware Radiance Fields

September 8, 2023

Autores: Yi-Ling Qiao, Alexander Gao, Yiran Xu, Yue Feng, Jia-Bin Huang, Ming C. Lin

cs.AI

Resumen

La integración de activos de mallas poligonales dentro de volúmenes de Campos de Radiancia Neural (NeRF) fotorrealistas, de modo que puedan renderizarse y simularse sus dinámicas de manera físicamente consistente con el NeRF, ha sido poco explorada desde la perspectiva del sistema de integración del NeRF en la pipeline gráfica tradicional. Este artículo diseña un acoplamiento bidireccional entre la malla y el NeRF durante la renderización y la simulación. Primero revisamos las ecuaciones de transporte de luz tanto para la malla como para el NeRF, luego las destilamos en un algoritmo eficiente para actualizar la radiancia y el rendimiento a lo largo de un rayo lanzado con un número arbitrario de rebotes. Para resolver la discrepancia entre el espacio de color lineal que asume el trazador de caminos y el espacio de color sRGB que utiliza el NeRF estándar, entrenamos el NeRF con imágenes de Alto Rango Dinámico (HDR). También presentamos una estrategia para estimar fuentes de luz y proyectar sombras sobre el NeRF. Finalmente, consideramos cómo la formulación híbrida de superficie-volumen puede integrarse eficientemente con un simulador físico de alto rendimiento que soporta telas, cuerpos rígidos y blandos. El sistema completo de renderización y simulación puede ejecutarse en una GPU a tasas interactivas. Demostramos que un enfoque de sistema híbrido supera a las alternativas en realismo visual para la inserción de mallas, ya que permite un transporte de luz realista desde los medios volumétricos del NeRF hacia las superficies, lo que afecta la apariencia de superficies reflectantes/refractantes y la iluminación de superficies difusas informadas por la escena dinámica.

English

Embedding polygonal mesh assets within photorealistic Neural Radience Fields (NeRF) volumes, such that they can be rendered and their dynamics simulated in a physically consistent manner with the NeRF, is under-explored from the system perspective of integrating NeRF into the traditional graphics pipeline. This paper designs a two-way coupling between mesh and NeRF during rendering and simulation. We first review the light transport equations for both mesh and NeRF, then distill them into an efficient algorithm for updating radiance and throughput along a cast ray with an arbitrary number of bounces. To resolve the discrepancy between the linear color space that the path tracer assumes and the sRGB color space that standard NeRF uses, we train NeRF with High Dynamic Range (HDR) images. We also present a strategy to estimate light sources and cast shadows on the NeRF. Finally, we consider how the hybrid surface-volumetric formulation can be efficiently integrated with a high-performance physics simulator that supports cloth, rigid and soft bodies. The full rendering and simulation system can be run on a GPU at interactive rates. We show that a hybrid system approach outperforms alternatives in visual realism for mesh insertion, because it allows realistic light transport from volumetric NeRF media onto surfaces, which affects the appearance of reflective/refractive surfaces and illumination of diffuse surfaces informed by the dynamic scene.