LightSpeed: モバイルデバイス向けの軽量で高速なニューラルライトフィールド

LightSpeed: Light and Fast Neural Light Fields on Mobile Devices

October 25, 2023

著者: Aarush Gupta, Junli Cao, Chaoyang Wang, Ju Hu, Sergey Tulyakov, Jian Ren, László A Jeni

cs.AI

要旨

モバイルデバイスにおけるリアルタイムの新視点画像合成は、計算能力とストレージの制約から実現が困難です。NeRFやその派生手法のようなボリュメトリックレンダリング手法は、計算コストが高いためモバイルデバイスには適していません。一方、最近のニューラルライトフィールド表現の進展により、モバイルデバイスでのリアルタイムな視点合成が可能になりつつあります。ニューラルライトフィールド手法は、光線表現からピクセル色への直接的なマッピングを学習します。現在の光線表現の選択肢は、層別化された光線サンプリングまたはPl\"{u}cker座標であり、古典的なライトスラブ（二平面）表現は見過ごされています。この表現は、ライトフィールドビュー間の補間において好まれる表現です。本研究では、ライトスラブ表現がニューラルライトフィールドを学習するための効率的な表現であることを明らかにしました。さらに重要なことに、これは低次元の光線表現であり、4D光線空間を特徴グリッドを用いて学習することが可能です。これにより、学習とレンダリングの速度が大幅に向上します。主に正面ビュー向けに設計されていますが、ライトスラブ表現は分割統治法を用いることで非正面シーンにも拡張可能であることを示します。本手法は、従来のライトフィールド手法と比較して優れたレンダリング品質を提供し、レンダリング品質と速度のトレードオフを大幅に改善します。

English

Real-time novel-view image synthesis on mobile devices is prohibitive due to the limited computational power and storage. Using volumetric rendering methods, such as NeRF and its derivatives, on mobile devices is not suitable due to the high computational cost of volumetric rendering. On the other hand, recent advances in neural light field representations have shown promising real-time view synthesis results on mobile devices. Neural light field methods learn a direct mapping from a ray representation to the pixel color. The current choice of ray representation is either stratified ray sampling or Pl\"{u}cker coordinates, overlooking the classic light slab (two-plane) representation, the preferred representation to interpolate between light field views. In this work, we find that using the light slab representation is an efficient representation for learning a neural light field. More importantly, it is a lower-dimensional ray representation enabling us to learn the 4D ray space using feature grids which are significantly faster to train and render. Although mostly designed for frontal views, we show that the light-slab representation can be further extended to non-frontal scenes using a divide-and-conquer strategy. Our method offers superior rendering quality compared to previous light field methods and achieves a significantly improved trade-off between rendering quality and speed.