동적 메쉬 인식 방사 필드

Dynamic Mesh-Aware Radiance Fields

September 8, 2023

저자: Yi-Ling Qiao, Alexander Gao, Yiran Xu, Yue Feng, Jia-Bin Huang, Ming C. Lin

cs.AI

초록

포토리얼리스틱 뉴럴 레이디언스 필드(NeRF) 볼륨 내에 다각형 메시 에셋을 내장하여, 이를 렌더링하고 NeRF와 물리적으로 일관된 방식으로 그 동역학을 시뮬레이션할 수 있도록 하는 것은, 전통적인 그래픽스 파이프라인에 NeRF를 통합하는 시스템 관점에서 아직 충분히 탐구되지 않았다. 본 논문은 렌더링과 시뮬레이션 과정에서 메시와 NeRF 간의 양방향 결합을 설계한다. 먼저 메시와 NeRF에 대한 광 전달 방정식을 검토한 후, 이를 임의의 수의 반사가 있는 캐스트 레이를 따라 레이디언스와 처리량을 효율적으로 업데이트하는 알고리즘으로 정제한다. 패스 트레이서가 가정하는 선형 색 공간과 표준 NeRF가 사용하는 sRGB 색 공간 간의 불일치를 해결하기 위해, 우리는 고동적범위(HDR) 이미지로 NeRF를 학습시킨다. 또한 NeRF에서 광원을 추정하고 그림자를 드리우는 전략을 제시한다. 마지막으로, 하이브리드 표면-체적 공식이 천, 강체 및 연체를 지원하는 고성능 물리 시뮬레이터와 효율적으로 통합될 수 있는 방법을 고려한다. 전체 렌더링 및 시뮬레이션 시스템은 GPU에서 인터랙티브 속도로 실행될 수 있다. 우리는 하이브리드 시스템 접근 방식이 메시 삽입에서 시각적 리얼리즘 측면에서 대안들을 능가함을 보여준다. 이는 체적 NeRF 매체에서 표면으로의 현실적인 광 전달을 가능하게 하여, 반사/굴절 표면의 외관과 동적 장면에 기반한 확산 표면의 조명에 영향을 미치기 때문이다.

English

Embedding polygonal mesh assets within photorealistic Neural Radience Fields (NeRF) volumes, such that they can be rendered and their dynamics simulated in a physically consistent manner with the NeRF, is under-explored from the system perspective of integrating NeRF into the traditional graphics pipeline. This paper designs a two-way coupling between mesh and NeRF during rendering and simulation. We first review the light transport equations for both mesh and NeRF, then distill them into an efficient algorithm for updating radiance and throughput along a cast ray with an arbitrary number of bounces. To resolve the discrepancy between the linear color space that the path tracer assumes and the sRGB color space that standard NeRF uses, we train NeRF with High Dynamic Range (HDR) images. We also present a strategy to estimate light sources and cast shadows on the NeRF. Finally, we consider how the hybrid surface-volumetric formulation can be efficiently integrated with a high-performance physics simulator that supports cloth, rigid and soft bodies. The full rendering and simulation system can be run on a GPU at interactive rates. We show that a hybrid system approach outperforms alternatives in visual realism for mesh insertion, because it allows realistic light transport from volumetric NeRF media onto surfaces, which affects the appearance of reflective/refractive surfaces and illumination of diffuse surfaces informed by the dynamic scene.