Modèles neuronaux d'apparence en temps réel

Real-Time Neural Appearance Models

May 4, 2023

Auteurs: Tizian Zeltner, Fabrice Rousselle, Andrea Weidlich, Petrik Clarberg, Jan Novák, Benedikt Bitterli, Alex Evans, Tomáš Davidovič, Simon Kallweit, Aaron Lefohn

cs.AI

Résumé

Nous présentons un système complet pour le rendu en temps réel de scènes à l'apparence complexe, auparavant réservé à un usage hors ligne. Cela est réalisé grâce à une combinaison d'innovations algorithmiques et systémiques. Notre modèle d'apparence utilise des textures hiérarchiques apprises, interprétées par des décodeurs neuronaux qui produisent des valeurs de réflectance et des directions échantillonnées par importance. Pour exploiter au mieux la capacité de modélisation des décodeurs, nous les dotons de deux préalables graphiques. Le premier préalable — la transformation des directions en cadres d'éclairage appris — facilite la reconstruction précise des effets à l'échelle mésoscopique. Le second préalable — une distribution d'échantillonnage microfacette — permet au décodeur neuronal d'effectuer un échantillonnage par importance de manière efficace. Le modèle d'apparence résultant prend en charge l'échantillonnage anisotrope et le rendu à niveaux de détail, et permet de convertir des graphes de matériaux profondément stratifiés en une représentation neuronale unifiée et compacte. En exposant les opérations tensorielles accélérées matériellement aux shaders de lancer de rayons, nous montrons qu'il est possible d'intégrer et d'exécuter les décodeurs neuronaux efficacement à l'intérieur d'un traçage de chemins en temps réel. Nous analysons l'évolutivité avec un nombre croissant de matériaux neuronaux et proposons d'améliorer les performances en utilisant un code optimisé pour une exécution cohérente et divergente. Nos shaders de matériaux neuronaux peuvent être plus d'un ordre de grandeur plus rapides que les matériaux stratifiés non neuronaux. Cela ouvre la porte à l'utilisation de visuels de qualité cinématographique dans des applications en temps réel telles que les jeux et les prévisualisations en direct.

English

We present a complete system for real-time rendering of scenes with complex appearance previously reserved for offline use. This is achieved with a combination of algorithmic and system level innovations. Our appearance model utilizes learned hierarchical textures that are interpreted using neural decoders, which produce reflectance values and importance-sampled directions. To best utilize the modeling capacity of the decoders, we equip the decoders with two graphics priors. The first prior -- transformation of directions into learned shading frames -- facilitates accurate reconstruction of mesoscale effects. The second prior -- a microfacet sampling distribution -- allows the neural decoder to perform importance sampling efficiently. The resulting appearance model supports anisotropic sampling and level-of-detail rendering, and allows baking deeply layered material graphs into a compact unified neural representation. By exposing hardware accelerated tensor operations to ray tracing shaders, we show that it is possible to inline and execute the neural decoders efficiently inside a real-time path tracer. We analyze scalability with increasing number of neural materials and propose to improve performance using code optimized for coherent and divergent execution. Our neural material shaders can be over an order of magnitude faster than non-neural layered materials. This opens up the door for using film-quality visuals in real-time applications such as games and live previews.