RenderFormer-V2: 異種シーンプリミティブによるニューラルレンダリング

要旨

本稿では、現代の物理ベースレンダリングシステムを補完する、統一的な学習型トランスフォーマーベースニューラルレンダリングモデル「RenderFormer-V2」を提示する。これは、コースティクス、体積散乱、環境照明、テクスチャ付き表面およびディスプレイスされた表面、分布外マテリアルなど、多様な光輸送効果を、シーンごとの学習や専用コードを要することなく扱うことができる。RenderFormer-V2 は大域的光輸送を系列対系列変換としてモデル化する。前身に従い、RenderFormer-V2 も二段階プロセスを採用する。すなわち、シーン内のプリミティブ間輸送を解く視点非依存段階と、内部ニューラルシーン表現を画像ピクセルへ変換する視点依存段階である。RenderFormer と異なり、我々のモデルは、レンダリング精度を維持しつつスケーラビリティを向上させるため、視点非依存段階において、ウィンドウ化アテンションとレンダリング情報に基づくアテンションシンクを組み合わせた新規機構を採用する。さらに汎用性を高めるため、RenderFormerV2 は環境マップや参加媒質を含む異種シーンプリミティブをサポートし、基礎となる表面反射モデルから独立したマテリアル符号化を採用する。これは新規のニューラル埋め込みを介してマテリアル外観を符号化する。様々なシーンにおいて RenderFormer-V2 の汎用性を実証し、改良されたアテンション機構について広範なアブレーションを行う。

English

We present 'RenderFormer-V2', a unified learned transformer-based neural rendering model, complementary to modern physics-based rendering systems, that can handle diverse light-transport effects such as caustics, volumetric scattering, environment lighting, textured and displaced surfaces and out-of-distribution materials without per-scene training or specialized code. RenderFormer-V2 models global light transport as a sequence-to-sequence transformation. Following its predecessor, RenderFormer-V2 also employs a two stage process: a view-independent stage that resolves intra-scene primitive to primitive transport, and a view-dependent stage that transforms the internal neural scene representation into image pixels. Different from RenderFormer, our model employs a novel combined windowed-attention and rendering-informed attention sink in the view-independent stage to improve scalability while maintaining render accuracy. To further improve versatility, RenderFormerV2 supports heterogeneous scene primitives, including environment maps and participating media, and it employs a material encoding independent of the underlying surface reflectance model that encodes material appearance via a novel neural embedding. We demonstrate the versatility of RenderFormer-V2 on a variety of scenes and perform an extensive ablation of the improved attention mechanism.