Modelos Neurais de Aparência em Tempo Real

Real-Time Neural Appearance Models

May 4, 2023

Autores: Tizian Zeltner, Fabrice Rousselle, Andrea Weidlich, Petrik Clarberg, Jan Novák, Benedikt Bitterli, Alex Evans, Tomáš Davidovič, Simon Kallweit, Aaron Lefohn

cs.AI

Resumo

Apresentamos um sistema completo para renderização em tempo real de cenas com aparência complexa, anteriormente reservada para uso offline. Isso é alcançado por meio de uma combinação de inovações algorítmicas e em nível de sistema. Nosso modelo de aparência utiliza texturas hierárquicas aprendidas que são interpretadas por decodificadores neurais, os quais produzem valores de refletância e direções amostradas por importância. Para melhor aproveitar a capacidade de modelagem dos decodificadores, equipamos esses decodificadores com dois priors gráficos. O primeiro prior — a transformação de direções em quadros de sombreamento aprendidos — facilita a reconstrução precisa de efeitos em mesoescala. O segundo prior — uma distribuição de amostragem microfacetada — permite que o decodificador neural realize amostragem por importância de forma eficiente. O modelo de aparência resultante suporta amostragem anisotrópica e renderização com nível de detalhe, além de permitir a "baking" de grafos de materiais profundamente em camadas em uma representação neural unificada e compacta. Ao expor operações de tensor aceleradas por hardware para shaders de ray tracing, mostramos que é possível integrar e executar os decodificadores neurais de forma eficiente dentro de um path tracer em tempo real. Analisamos a escalabilidade com o aumento do número de materiais neurais e propomos melhorar o desempenho usando código otimizado para execução coerente e divergente. Nossos shaders de materiais neurais podem ser mais de uma ordem de magnitude mais rápidos do que materiais em camadas não neurais. Isso abre as portas para o uso de visuais de qualidade cinematográfica em aplicações em tempo real, como jogos e pré-visualizações ao vivo.

English

We present a complete system for real-time rendering of scenes with complex appearance previously reserved for offline use. This is achieved with a combination of algorithmic and system level innovations. Our appearance model utilizes learned hierarchical textures that are interpreted using neural decoders, which produce reflectance values and importance-sampled directions. To best utilize the modeling capacity of the decoders, we equip the decoders with two graphics priors. The first prior -- transformation of directions into learned shading frames -- facilitates accurate reconstruction of mesoscale effects. The second prior -- a microfacet sampling distribution -- allows the neural decoder to perform importance sampling efficiently. The resulting appearance model supports anisotropic sampling and level-of-detail rendering, and allows baking deeply layered material graphs into a compact unified neural representation. By exposing hardware accelerated tensor operations to ray tracing shaders, we show that it is possible to inline and execute the neural decoders efficiently inside a real-time path tracer. We analyze scalability with increasing number of neural materials and propose to improve performance using code optimized for coherent and divergent execution. Our neural material shaders can be over an order of magnitude faster than non-neural layered materials. This opens up the door for using film-quality visuals in real-time applications such as games and live previews.