Modelos Neuronales de Apariencia en Tiempo Real

Resumen

Presentamos un sistema completo para la renderización en tiempo real de escenas con apariencia compleja que anteriormente estaba reservada para uso offline. Esto se logra mediante una combinación de innovaciones algorítmicas y a nivel de sistema. Nuestro modelo de apariencia utiliza texturas jerárquicas aprendidas que se interpretan mediante decodificadores neuronales, los cuales producen valores de reflectancia y direcciones muestreadas por importancia. Para aprovechar al máximo la capacidad de modelado de los decodificadores, los equipamos con dos prioridades gráficas. La primera prioridad —la transformación de direcciones en marcos de sombreado aprendidos— facilita la reconstrucción precisa de efectos a mesoescala. La segunda prioridad —una distribución de muestreo de microfacetas— permite que el decodificador neuronal realice muestreo por importancia de manera eficiente. El modelo de apariencia resultante admite muestreo anisotrópico y renderización por nivel de detalle, y permite convertir gráficos de materiales profundamente estratificados en una representación neuronal unificada y compacta. Al exponer operaciones tensoriales aceleradas por hardware a los sombreadores de trazado de rayos, demostramos que es posible integrar y ejecutar los decodificadores neuronales de manera eficiente dentro de un trazador de rutas en tiempo real. Analizamos la escalabilidad con un número creciente de materiales neuronales y proponemos mejorar el rendimiento utilizando código optimizado para ejecución coherente y divergente. Nuestros sombreadores de materiales neuronales pueden ser más de un orden de magnitud más rápidos que los materiales estratificados no neuronales. Esto abre la puerta al uso de gráficos de calidad cinematográfica en aplicaciones en tiempo real, como videojuegos y vistas previas en vivo.

English

We present a complete system for real-time rendering of scenes with complex appearance previously reserved for offline use. This is achieved with a combination of algorithmic and system level innovations. Our appearance model utilizes learned hierarchical textures that are interpreted using neural decoders, which produce reflectance values and importance-sampled directions. To best utilize the modeling capacity of the decoders, we equip the decoders with two graphics priors. The first prior -- transformation of directions into learned shading frames -- facilitates accurate reconstruction of mesoscale effects. The second prior -- a microfacet sampling distribution -- allows the neural decoder to perform importance sampling efficiently. The resulting appearance model supports anisotropic sampling and level-of-detail rendering, and allows baking deeply layered material graphs into a compact unified neural representation. By exposing hardware accelerated tensor operations to ray tracing shaders, we show that it is possible to inline and execute the neural decoders efficiently inside a real-time path tracer. We analyze scalability with increasing number of neural materials and propose to improve performance using code optimized for coherent and divergent execution. Our neural material shaders can be over an order of magnitude faster than non-neural layered materials. This opens up the door for using film-quality visuals in real-time applications such as games and live previews.

Modelos Neuronales de Apariencia en Tiempo Real

Real-Time Neural Appearance Models

Resumen

Support