실시간 신경망 외관 모델

Real-Time Neural Appearance Models

May 4, 2023

저자: Tizian Zeltner, Fabrice Rousselle, Andrea Weidlich, Petrik Clarberg, Jan Novák, Benedikt Bitterli, Alex Evans, Tomáš Davidovič, Simon Kallweit, Aaron Lefohn

cs.AI

초록

이전에는 오프라인 용도로만 사용되던 복잡한 외관의 장면을 실시간으로 렌더링하기 위한 완전한 시스템을 제시합니다. 이는 알고리즘적 및 시스템 수준의 혁신적 접근을 결합하여 달성되었습니다. 우리의 외관 모델은 신경망 디코더를 통해 해석되는 학습된 계층적 텍스처를 활용하며, 이 디코더는 반사율 값과 중요도 샘플링된 방향을 생성합니다. 디코더의 모델링 능력을 최대한 활용하기 위해, 두 가지 그래픽스 사전 지식을 디코더에 적용했습니다. 첫 번째 사전 지식은 방향을 학습된 쉐이딩 프레임으로 변환하는 것으로, 중간 규모 효과의 정확한 재구성을 가능하게 합니다. 두 번째 사전 지식은 마이크로패싯 샘플링 분포로, 신경망 디코더가 효율적으로 중요도 샘플링을 수행할 수 있게 합니다. 결과적으로 생성된 외관 모델은 이방성 샘플링과 세부 수준 렌더링을 지원하며, 깊이 계층화된 재질 그래프를 간결한 통합 신경망 표현으로 구워낼 수 있습니다. 하드웨어 가속 텐서 연산을 레이 트레이싱 셰이더에 노출시킴으로써, 신경망 디코더를 실시간 경로 추적기 내에서 효율적으로 인라인 실행할 수 있음을 보여줍니다. 신경 재질의 수가 증가함에 따른 확장성을 분석하고, 일관적 및 분기적 실행에 최적화된 코드를 사용하여 성능을 개선할 것을 제안합니다. 우리의 신경 재질 셰이더는 비신경적 계층 재질보다 한 차원 더 빠를 수 있습니다. 이는 게임 및 실시간 미리보기와 같은 실시간 애플리케이션에서 영화 수준의 시각적 품질을 사용할 수 있는 길을 열어줍니다.

English

We present a complete system for real-time rendering of scenes with complex appearance previously reserved for offline use. This is achieved with a combination of algorithmic and system level innovations. Our appearance model utilizes learned hierarchical textures that are interpreted using neural decoders, which produce reflectance values and importance-sampled directions. To best utilize the modeling capacity of the decoders, we equip the decoders with two graphics priors. The first prior -- transformation of directions into learned shading frames -- facilitates accurate reconstruction of mesoscale effects. The second prior -- a microfacet sampling distribution -- allows the neural decoder to perform importance sampling efficiently. The resulting appearance model supports anisotropic sampling and level-of-detail rendering, and allows baking deeply layered material graphs into a compact unified neural representation. By exposing hardware accelerated tensor operations to ray tracing shaders, we show that it is possible to inline and execute the neural decoders efficiently inside a real-time path tracer. We analyze scalability with increasing number of neural materials and propose to improve performance using code optimized for coherent and divergent execution. Our neural material shaders can be over an order of magnitude faster than non-neural layered materials. This opens up the door for using film-quality visuals in real-time applications such as games and live previews.