Modelli Neurali di Aspetto in Tempo Reale

Real-Time Neural Appearance Models

May 4, 2023

Autori: Tizian Zeltner, Fabrice Rousselle, Andrea Weidlich, Petrik Clarberg, Jan Novák, Benedikt Bitterli, Alex Evans, Tomáš Davidovič, Simon Kallweit, Aaron Lefohn

cs.AI

Abstract

Presentiamo un sistema completo per il rendering in tempo reale di scene con un aspetto complesso, precedentemente riservato all'uso offline. Questo risultato è ottenuto attraverso una combinazione di innovazioni algoritmiche e a livello di sistema. Il nostro modello di aspetto utilizza texture gerarchiche apprese che vengono interpretate tramite decodificatori neurali, i quali producono valori di riflettanza e direzioni campionate in modo importanza. Per sfruttare al meglio la capacità di modellazione dei decodificatori, li dotiamo di due prior grafiche. La prima priorità — la trasformazione delle direzioni in frame di illuminazione appresi — facilita la ricostruzione accurata degli effetti a mesoscala. La seconda priorità — una distribuzione di campionamento microfaccettata — consente al decodificatore neurale di eseguire il campionamento per importanza in modo efficiente. Il modello di aspetto risultante supporta il campionamento anisotropo e il rendering a livelli di dettaglio, e permette di "cuocere" grafi di materiali stratificati in una rappresentazione neurale compatta e unificata. Esponendo le operazioni tensoriali accelerate dall'hardware agli shader di ray tracing, dimostriamo che è possibile integrare ed eseguire i decodificatori neurali in modo efficiente all'interno di un path tracer in tempo reale. Analizziamo la scalabilità con un numero crescente di materiali neurali e proponiamo di migliorare le prestazioni utilizzando codice ottimizzato per esecuzioni coerenti e divergenti. I nostri shader di materiali neurali possono essere oltre un ordine di grandezza più veloci rispetto ai materiali stratificati non neurali. Questo apre la porta all'uso di visuali di qualità cinematografica in applicazioni in tempo reale come giochi e anteprime live.

English

We present a complete system for real-time rendering of scenes with complex appearance previously reserved for offline use. This is achieved with a combination of algorithmic and system level innovations. Our appearance model utilizes learned hierarchical textures that are interpreted using neural decoders, which produce reflectance values and importance-sampled directions. To best utilize the modeling capacity of the decoders, we equip the decoders with two graphics priors. The first prior -- transformation of directions into learned shading frames -- facilitates accurate reconstruction of mesoscale effects. The second prior -- a microfacet sampling distribution -- allows the neural decoder to perform importance sampling efficiently. The resulting appearance model supports anisotropic sampling and level-of-detail rendering, and allows baking deeply layered material graphs into a compact unified neural representation. By exposing hardware accelerated tensor operations to ray tracing shaders, we show that it is possible to inline and execute the neural decoders efficiently inside a real-time path tracer. We analyze scalability with increasing number of neural materials and propose to improve performance using code optimized for coherent and divergent execution. Our neural material shaders can be over an order of magnitude faster than non-neural layered materials. This opens up the door for using film-quality visuals in real-time applications such as games and live previews.