Real-time Neurale Uiterlijkheidsmodellen

Real-Time Neural Appearance Models

May 4, 2023

Auteurs: Tizian Zeltner, Fabrice Rousselle, Andrea Weidlich, Petrik Clarberg, Jan Novák, Benedikt Bitterli, Alex Evans, Tomáš Davidovič, Simon Kallweit, Aaron Lefohn

cs.AI

Samenvatting

We presenteren een compleet systeem voor real-time rendering van scènes met complexe uitstraling die voorheen voorbehouden waren aan offline gebruik. Dit wordt bereikt door een combinatie van algoritmische en systeemniveau innovaties. Ons uiterlijkheidsmodel maakt gebruik van geleerde hiërarchische texturen die worden geïnterpreteerd met neurale decoders, die reflectiewaarden en importance-sampled richtingen produceren. Om de modelleringscapaciteit van de decoders optimaal te benutten, voorzien we de decoders van twee grafische prioriteiten. De eerste prioriteit – de transformatie van richtingen in geleerde schaduwframes – vergemakkelijkt een nauwkeurige reconstructie van mesoschaal effecten. De tweede prioriteit – een microfacet sampling distributie – stelt de neurale decoder in staat om efficiënt importance sampling uit te voeren. Het resulterende uiterlijkheidsmodel ondersteunt anisotrope sampling en level-of-detail rendering, en maakt het mogelijk diep gelaagde materiaalgrafieken te bakken in een compacte, verenigde neurale representatie. Door hardware-geoptimaliseerde tensoroperaties bloot te stellen aan ray tracing shaders, tonen we aan dat het mogelijk is om de neurale decoders efficiënt inline uit te voeren binnen een real-time path tracer. We analyseren de schaalbaarheid bij een toenemend aantal neurale materialen en stellen voor om de prestaties te verbeteren met code die is geoptimaliseerd voor coherente en divergente uitvoering. Onze neurale materiaalshaders kunnen meer dan een orde van grootte sneller zijn dan niet-neurale gelaagde materialen. Dit opent de deur naar het gebruik van filmkwaliteit visuals in real-time toepassingen zoals games en live previews.

English

We present a complete system for real-time rendering of scenes with complex appearance previously reserved for offline use. This is achieved with a combination of algorithmic and system level innovations. Our appearance model utilizes learned hierarchical textures that are interpreted using neural decoders, which produce reflectance values and importance-sampled directions. To best utilize the modeling capacity of the decoders, we equip the decoders with two graphics priors. The first prior -- transformation of directions into learned shading frames -- facilitates accurate reconstruction of mesoscale effects. The second prior -- a microfacet sampling distribution -- allows the neural decoder to perform importance sampling efficiently. The resulting appearance model supports anisotropic sampling and level-of-detail rendering, and allows baking deeply layered material graphs into a compact unified neural representation. By exposing hardware accelerated tensor operations to ray tracing shaders, we show that it is possible to inline and execute the neural decoders efficiently inside a real-time path tracer. We analyze scalability with increasing number of neural materials and propose to improve performance using code optimized for coherent and divergent execution. Our neural material shaders can be over an order of magnitude faster than non-neural layered materials. This opens up the door for using film-quality visuals in real-time applications such as games and live previews.