MixRT: リアルタイムNeRFレンダリングのための混合ニューラル表現

MixRT: Mixed Neural Representations For Real-Time NeRF Rendering

December 19, 2023

著者: Chaojian Li, Bichen Wu, Peter Vajda, Yingyan, Lin

cs.AI

要旨

Neural Radiance Field (NeRF) は、その印象的なフォトリアルな再構成とレンダリング能力により、新規視点合成における主要な技術として登場しました。しかし、大規模シーンでのリアルタイムNeRFレンダリングの実現には課題があり、多くの場合、大量の三角形を含む複雑なベイクドメッシュ表現や、ベイクド表現でのリソース集約的なレイマーチングの採用につながっています。我々はこれらの慣習に異議を唱え、大量の三角形を含むメッシュで表現される高品質なジオメトリが、フォトリアルなレンダリング品質を達成するために必ずしも必要ではないことを観察しました。その結果、低品質メッシュ、視点依存変位マップ、および圧縮されたNeRFモデルを含む新しいNeRF表現であるMixRTを提案します。この設計は、既存のグラフィックスハードウェアの能力を効果的に活用し、エッジデバイスでのリアルタイムNeRFレンダリングを可能にします。高度に最適化されたWebGLベースのレンダリングフレームワークを活用することで、提案するMixRTは、エッジデバイスでのリアルタイムレンダリング速度（MacBook M1 Proラップトップで1280 x 720の解像度で30 FPS以上）、より優れたレンダリング品質（Unbounded-360データセットの屋内シーンで0.2 PSNR向上）、およびより小さなストレージサイズ（最先端の手法と比較して80％未満）を実現します。

English

Neural Radiance Field (NeRF) has emerged as a leading technique for novel view synthesis, owing to its impressive photorealistic reconstruction and rendering capability. Nevertheless, achieving real-time NeRF rendering in large-scale scenes has presented challenges, often leading to the adoption of either intricate baked mesh representations with a substantial number of triangles or resource-intensive ray marching in baked representations. We challenge these conventions, observing that high-quality geometry, represented by meshes with substantial triangles, is not necessary for achieving photorealistic rendering quality. Consequently, we propose MixRT, a novel NeRF representation that includes a low-quality mesh, a view-dependent displacement map, and a compressed NeRF model. This design effectively harnesses the capabilities of existing graphics hardware, thus enabling real-time NeRF rendering on edge devices. Leveraging a highly-optimized WebGL-based rendering framework, our proposed MixRT attains real-time rendering speeds on edge devices (over 30 FPS at a resolution of 1280 x 720 on a MacBook M1 Pro laptop), better rendering quality (0.2 PSNR higher in indoor scenes of the Unbounded-360 datasets), and a smaller storage size (less than 80% compared to state-of-the-art methods).