Campos Radiantes Dinâmicos com Consciência de Malha

Dynamic Mesh-Aware Radiance Fields

September 8, 2023

Autores: Yi-Ling Qiao, Alexander Gao, Yiran Xu, Yue Feng, Jia-Bin Huang, Ming C. Lin

cs.AI

Resumo

A incorporação de ativos de malha poligonal dentro de volumes fotorealísticos de Campos de Radiação Neural (NeRF), de modo que possam ser renderizados e suas dinâmicas simuladas de maneira fisicamente consistente com o NeRF, é um tópico pouco explorado do ponto de vista da integração do NeRF no pipeline gráfico tradicional. Este artigo propõe um acoplamento bidirecional entre malha e NeRF durante a renderização e simulação. Primeiro, revisamos as equações de transporte de luz para malha e NeRF, e então as condensamos em um algoritmo eficiente para atualizar a radiância e a taxa de transferência ao longo de um raio lançado com um número arbitrário de reflexões. Para resolver a discrepância entre o espaço de cores linear assumido pelo traçador de caminhos e o espaço de cores sRGB usado pelo NeRF padrão, treinamos o NeRF com imagens de Alto Alcance Dinâmico (HDR). Também apresentamos uma estratégia para estimar fontes de luz e projetar sombras no NeRF. Por fim, consideramos como a formulação híbrida de superfície-volumétrica pode ser integrada de forma eficiente com um simulador físico de alto desempenho que suporta tecidos, corpos rígidos e macios. O sistema completo de renderização e simulação pode ser executado em uma GPU em taxas interativas. Demonstramos que uma abordagem de sistema híbrido supera alternativas em realismo visual para inserção de malha, pois permite o transporte realista de luz de mídias volumétricas NeRF para superfícies, o que afeta a aparência de superfícies reflexivas/refrativas e a iluminação de superfícies difusas informadas pela cena dinâmica.

English

Embedding polygonal mesh assets within photorealistic Neural Radience Fields (NeRF) volumes, such that they can be rendered and their dynamics simulated in a physically consistent manner with the NeRF, is under-explored from the system perspective of integrating NeRF into the traditional graphics pipeline. This paper designs a two-way coupling between mesh and NeRF during rendering and simulation. We first review the light transport equations for both mesh and NeRF, then distill them into an efficient algorithm for updating radiance and throughput along a cast ray with an arbitrary number of bounces. To resolve the discrepancy between the linear color space that the path tracer assumes and the sRGB color space that standard NeRF uses, we train NeRF with High Dynamic Range (HDR) images. We also present a strategy to estimate light sources and cast shadows on the NeRF. Finally, we consider how the hybrid surface-volumetric formulation can be efficiently integrated with a high-performance physics simulator that supports cloth, rigid and soft bodies. The full rendering and simulation system can be run on a GPU at interactive rates. We show that a hybrid system approach outperforms alternatives in visual realism for mesh insertion, because it allows realistic light transport from volumetric NeRF media onto surfaces, which affects the appearance of reflective/refractive surfaces and illumination of diffuse surfaces informed by the dynamic scene.