FastSR-NeRF: シンプルな超解像パイプラインによるコンシューマー機器向けNeRF効率の改善

要旨

超解像（SR）技術は最近、ニューラルラジアンスフィールド（NeRF）の出力をアップスケールし、推論速度を向上させた高品質な画像を生成するために提案されています。しかし、既存のNeRF+SR手法は、追加の入力特徴量、損失関数、および/または知識蒸留のような高コストな訓練手順を使用することで、訓練のオーバーヘッドを増加させています。本論文では、高コストな訓練やアーキテクチャの変更なしに、SRを効率向上のために活用することを目指します。具体的には、既存のモジュールを直接組み合わせたシンプルなNeRF+SRパイプラインを構築し、訓練用の軽量な拡張技術であるランダムパッチサンプリングを提案します。既存のNeRF+SR手法と比較して、我々のパイプラインはSRの計算オーバーヘッドを軽減し、最大23倍高速に訓練することが可能であり、Apple MacBookのような消費者向けデバイスでの実行を実現します。実験結果は、我々のパイプラインがNeRFの出力を2-4倍にアップスケールしながら高品質を維持し、NVIDIA V100 GPUでは最大18倍、M1 Proチップでは12.8倍の推論速度向上を達成できることを示しています。SRが消費者向けデバイスにおけるNeRFモデルの効率を改善するためのシンプルかつ効果的な技術となり得ると結論付けます。

English

Super-resolution (SR) techniques have recently been proposed to upscale the outputs of neural radiance fields (NeRF) and generate high-quality images with enhanced inference speeds. However, existing NeRF+SR methods increase training overhead by using extra input features, loss functions, and/or expensive training procedures such as knowledge distillation. In this paper, we aim to leverage SR for efficiency gains without costly training or architectural changes. Specifically, we build a simple NeRF+SR pipeline that directly combines existing modules, and we propose a lightweight augmentation technique, random patch sampling, for training. Compared to existing NeRF+SR methods, our pipeline mitigates the SR computing overhead and can be trained up to 23x faster, making it feasible to run on consumer devices such as the Apple MacBook. Experiments show our pipeline can upscale NeRF outputs by 2-4x while maintaining high quality, increasing inference speeds by up to 18x on an NVIDIA V100 GPU and 12.8x on an M1 Pro chip. We conclude that SR can be a simple but effective technique for improving the efficiency of NeRF models for consumer devices.

FastSR-NeRF: シンプルな超解像パイプラインによるコンシューマー機器向けNeRF効率の改善

FastSR-NeRF: Improving NeRF Efficiency on Consumer Devices with A Simple Super-Resolution Pipeline

要旨

Support