Модели нейронного внешнего вида в реальном времени

Аннотация

Мы представляем полную систему для рендеринга сцен со сложной визуализацией в реальном времени, которая ранее была доступна только для оффлайн-использования. Это достигнуто благодаря сочетанию алгоритмических и системных инноваций. Наша модель визуализации использует иерархические текстуры, обученные с помощью нейронных декодеров, которые генерируют значения отражательной способности и направления для важностного сэмплирования. Чтобы максимально эффективно использовать возможности моделирования декодеров, мы оснащаем их двумя графическими приоритетами. Первый приоритет — преобразование направлений в обученные системы затенения — обеспечивает точное восстановление мезомасштабных эффектов. Второй приоритет — распределение сэмплирования на основе микрограней — позволяет нейронному декодеру эффективно выполнять важностное сэмплирование. Полученная модель визуализации поддерживает анизотропное сэмплирование и рендеринг с учетом уровня детализации, а также позволяет преобразовывать глубоко слоистые графы материалов в компактное унифицированное нейронное представление. Благодаря интеграции аппаратно-ускоренных тензорных операций в шейдеры трассировки лучей, мы демонстрируем возможность эффективного встраивания и выполнения нейронных декодеров внутри трассировщика путей в реальном времени. Мы анализируем масштабируемость с увеличением количества нейронных материалов и предлагаем улучшить производительность с помощью кода, оптимизированного для когерентного и дивергентного выполнения. Наши нейронные шейдеры материалов могут быть более чем на порядок быстрее, чем не-нейронные слоистые материалы. Это открывает возможность использования визуальных эффектов кинематографического качества в реальном времени, таких как игры и живые предпросмотры.

English

We present a complete system for real-time rendering of scenes with complex appearance previously reserved for offline use. This is achieved with a combination of algorithmic and system level innovations. Our appearance model utilizes learned hierarchical textures that are interpreted using neural decoders, which produce reflectance values and importance-sampled directions. To best utilize the modeling capacity of the decoders, we equip the decoders with two graphics priors. The first prior -- transformation of directions into learned shading frames -- facilitates accurate reconstruction of mesoscale effects. The second prior -- a microfacet sampling distribution -- allows the neural decoder to perform importance sampling efficiently. The resulting appearance model supports anisotropic sampling and level-of-detail rendering, and allows baking deeply layered material graphs into a compact unified neural representation. By exposing hardware accelerated tensor operations to ray tracing shaders, we show that it is possible to inline and execute the neural decoders efficiently inside a real-time path tracer. We analyze scalability with increasing number of neural materials and propose to improve performance using code optimized for coherent and divergent execution. Our neural material shaders can be over an order of magnitude faster than non-neural layered materials. This opens up the door for using film-quality visuals in real-time applications such as games and live previews.

Модели нейронного внешнего вида в реальном времени

Real-Time Neural Appearance Models

Аннотация

Support