FastSR-NeRF: Migliorare l'efficienza di NeRF su dispositivi consumer con una semplice pipeline di super-risoluzione

FastSR-NeRF: Improving NeRF Efficiency on Consumer Devices with A Simple Super-Resolution Pipeline

December 15, 2023

Autori: Chien-Yu Lin, Qichen Fu, Thomas Merth, Karren Yang, Anurag Ranjan

cs.AI

Abstract

Le tecniche di super-risoluzione (SR) sono state recentemente proposte per aumentare la risoluzione degli output dei campi di radianza neurale (NeRF) e generare immagini di alta qualità con velocità di inferenza migliorate. Tuttavia, i metodi esistenti NeRF+SR aumentano il sovraccarico di addestramento utilizzando funzionalità di input aggiuntive, funzioni di perdita e/o procedure di addestramento costose come la distillazione della conoscenza. In questo articolo, miriamo a sfruttare la SR per ottenere guadagni di efficienza senza costosi addestramenti o modifiche architetturali. Nello specifico, costruiamo una semplice pipeline NeRF+SR che combina direttamente moduli esistenti e proponiamo una tecnica di aumento leggera, il campionamento casuale di patch, per l'addestramento. Rispetto ai metodi NeRF+SR esistenti, la nostra pipeline riduce il sovraccarico computazionale della SR e può essere addestrata fino a 23 volte più velocemente, rendendola fattibile su dispositivi consumer come l'Apple MacBook. Gli esperimenti dimostrano che la nostra pipeline può aumentare la risoluzione degli output NeRF di 2-4 volte mantenendo un'alta qualità, aumentando le velocità di inferenza fino a 18 volte su una GPU NVIDIA V100 e 12,8 volte su un chip M1 Pro. Concludiamo che la SR può essere una tecnica semplice ma efficace per migliorare l'efficienza dei modelli NeRF per dispositivi consumer.

English

Super-resolution (SR) techniques have recently been proposed to upscale the outputs of neural radiance fields (NeRF) and generate high-quality images with enhanced inference speeds. However, existing NeRF+SR methods increase training overhead by using extra input features, loss functions, and/or expensive training procedures such as knowledge distillation. In this paper, we aim to leverage SR for efficiency gains without costly training or architectural changes. Specifically, we build a simple NeRF+SR pipeline that directly combines existing modules, and we propose a lightweight augmentation technique, random patch sampling, for training. Compared to existing NeRF+SR methods, our pipeline mitigates the SR computing overhead and can be trained up to 23x faster, making it feasible to run on consumer devices such as the Apple MacBook. Experiments show our pipeline can upscale NeRF outputs by 2-4x while maintaining high quality, increasing inference speeds by up to 18x on an NVIDIA V100 GPU and 12.8x on an M1 Pro chip. We conclude that SR can be a simple but effective technique for improving the efficiency of NeRF models for consumer devices.