リアルタイムニューラルアピアランスモデル

Real-Time Neural Appearance Models

May 4, 2023

著者: Tizian Zeltner, Fabrice Rousselle, Andrea Weidlich, Petrik Clarberg, Jan Novák, Benedikt Bitterli, Alex Evans, Tomáš Davidovič, Simon Kallweit, Aaron Lefohn

cs.AI

要旨

複雑な見た目のシーンをリアルタイムでレンダリングするための完全なシステムを提案します。これまでオフライン用途に限定されていた表現を、アルゴリズムとシステムレベルの革新を組み合わせることで実現しています。 私たちの外観モデルは、学習された階層的テクスチャをニューラルデコーダで解釈し、反射率値と重要度サンプリング方向を生成します。デコーダのモデリング能力を最大限に活用するため、2つのグラフィックス事前情報を組み込みました。1つ目の事前情報は、方向を学習されたシェーディングフレームに変換することで、メゾスケール効果の正確な再構成を可能にします。2つ目の事前情報は、マイクロファセットサンプリング分布を用いることで、ニューラルデコーダが効率的に重要度サンプリングを行えるようにします。結果として得られる外観モデルは、異方性サンプリングと詳細レベルレンダリングをサポートし、深層のマテリアルグラフをコンパクトな統一ニューラル表現に焼き付けることが可能です。 ハードウェアアクセラレーションされたテンソル演算をレイトレーシングシェーダーに公開することで、ニューラルデコーダをリアルタイムパストレーサー内で効率的にインライン実行できることを示します。ニューラルマテリアルの数が増加した場合のスケーラビリティを分析し、コヒーレントおよびディバージェントな実行に最適化されたコードを使用してパフォーマンスを向上させることを提案します。私たちのニューラルマテリアルシェーダーは、非ニューラルなレイヤードマテリアルよりも1桁以上高速になる可能性があります。これにより、ゲームやライブプレビューなどのリアルタイムアプリケーションで映画品質のビジュアルを使用する道が開かれます。

English

We present a complete system for real-time rendering of scenes with complex appearance previously reserved for offline use. This is achieved with a combination of algorithmic and system level innovations. Our appearance model utilizes learned hierarchical textures that are interpreted using neural decoders, which produce reflectance values and importance-sampled directions. To best utilize the modeling capacity of the decoders, we equip the decoders with two graphics priors. The first prior -- transformation of directions into learned shading frames -- facilitates accurate reconstruction of mesoscale effects. The second prior -- a microfacet sampling distribution -- allows the neural decoder to perform importance sampling efficiently. The resulting appearance model supports anisotropic sampling and level-of-detail rendering, and allows baking deeply layered material graphs into a compact unified neural representation. By exposing hardware accelerated tensor operations to ray tracing shaders, we show that it is possible to inline and execute the neural decoders efficiently inside a real-time path tracer. We analyze scalability with increasing number of neural materials and propose to improve performance using code optimized for coherent and divergent execution. Our neural material shaders can be over an order of magnitude faster than non-neural layered materials. This opens up the door for using film-quality visuals in real-time applications such as games and live previews.