Echtzeit-Neuronale Erscheinungsmodelle

Zusammenfassung

Wir präsentieren ein vollständiges System für die Echtzeitdarstellung von Szenen mit komplexen Erscheinungsbildern, die bisher der Offline-Nutzung vorbehalten waren. Dies wird durch eine Kombination aus algorithmischen und systemtechnischen Innovationen erreicht. Unser Erscheinungsmodell nutzt gelernte hierarchische Texturen, die mit neuronalen Decodern interpretiert werden, welche Reflektanzwerte und importance-sampled Richtungen erzeugen. Um die Modellierungskapazität der Decoder optimal zu nutzen, statten wir die Decoder mit zwei Grafik-Priors aus. Der erste Prior – die Transformation von Richtungen in gelernte Schattierungsrahmen – ermöglicht eine präzise Rekonstruktion von Mesoskala-Effekten. Der zweite Prior – eine Mikrofacetten-Sampling-Verteilung – erlaubt es dem neuronalen Decoder, Importance Sampling effizient durchzuführen. Das resultierende Erscheinungsmodell unterstützt anisotropes Sampling und Level-of-Detail-Rendering und ermöglicht das Backen von tief geschichteten Materialgraphen in eine kompakte, vereinheitlichte neuronale Repräsentation. Indem wir hardwarebeschleunigte Tensoroperationen für Raytracing-Shader verfügbar machen, zeigen wir, dass es möglich ist, die neuronalen Decoder effizient innerhalb eines Echtzeit-Path-Tracers einzubetten und auszuführen. Wir analysieren die Skalierbarkeit mit zunehmender Anzahl neuronaler Materialien und schlagen vor, die Leistung durch Code zu verbessern, der für kohärente und divergente Ausführung optimiert ist. Unsere neuronalen Material-Shader können mehr als eine Größenordnung schneller sein als nicht-neuronale geschichtete Materialien. Dies eröffnet die Möglichkeit, filmreife Visuals in Echtzeitanwendungen wie Spielen und Live-Vorschauen zu verwenden.

English

We present a complete system for real-time rendering of scenes with complex appearance previously reserved for offline use. This is achieved with a combination of algorithmic and system level innovations. Our appearance model utilizes learned hierarchical textures that are interpreted using neural decoders, which produce reflectance values and importance-sampled directions. To best utilize the modeling capacity of the decoders, we equip the decoders with two graphics priors. The first prior -- transformation of directions into learned shading frames -- facilitates accurate reconstruction of mesoscale effects. The second prior -- a microfacet sampling distribution -- allows the neural decoder to perform importance sampling efficiently. The resulting appearance model supports anisotropic sampling and level-of-detail rendering, and allows baking deeply layered material graphs into a compact unified neural representation. By exposing hardware accelerated tensor operations to ray tracing shaders, we show that it is possible to inline and execute the neural decoders efficiently inside a real-time path tracer. We analyze scalability with increasing number of neural materials and propose to improve performance using code optimized for coherent and divergent execution. Our neural material shaders can be over an order of magnitude faster than non-neural layered materials. This opens up the door for using film-quality visuals in real-time applications such as games and live previews.

Echtzeit-Neuronale Erscheinungsmodelle

Real-Time Neural Appearance Models

Zusammenfassung

Support