FastSR-NeRF: Mejorando la eficiencia de NeRF en dispositivos de consumo con una canalización simple de super-resolución

FastSR-NeRF: Improving NeRF Efficiency on Consumer Devices with A Simple Super-Resolution Pipeline

December 15, 2023

Autores: Chien-Yu Lin, Qichen Fu, Thomas Merth, Karren Yang, Anurag Ranjan

cs.AI

Resumen

Las técnicas de super-resolución (SR) se han propuesto recientemente para aumentar la escala de las salidas de los campos de radiancia neural (NeRF) y generar imágenes de alta calidad con velocidades de inferencia mejoradas. Sin embargo, los métodos existentes de NeRF+SR incrementan la sobrecarga de entrenamiento al utilizar características de entrada adicionales, funciones de pérdida y/o procedimientos de entrenamiento costosos como la destilación de conocimiento. En este artículo, buscamos aprovechar la SR para obtener ganancias de eficiencia sin costosos cambios en el entrenamiento o la arquitectura. Específicamente, construimos una canalización simple de NeRF+SR que combina directamente módulos existentes, y proponemos una técnica de aumento ligera, el muestreo aleatorio de parches, para el entrenamiento. En comparación con los métodos existentes de NeRF+SR, nuestra canalización mitiga la sobrecarga computacional de la SR y puede entrenarse hasta 23 veces más rápido, lo que la hace factible de ejecutar en dispositivos de consumo como el Apple MacBook. Los experimentos muestran que nuestra canalización puede aumentar la escala de las salidas de NeRF de 2 a 4 veces manteniendo una alta calidad, incrementando las velocidades de inferencia hasta 18 veces en una GPU NVIDIA V100 y 12.8 veces en un chip M1 Pro. Concluimos que la SR puede ser una técnica simple pero efectiva para mejorar la eficiencia de los modelos NeRF en dispositivos de consumo.

English

Super-resolution (SR) techniques have recently been proposed to upscale the outputs of neural radiance fields (NeRF) and generate high-quality images with enhanced inference speeds. However, existing NeRF+SR methods increase training overhead by using extra input features, loss functions, and/or expensive training procedures such as knowledge distillation. In this paper, we aim to leverage SR for efficiency gains without costly training or architectural changes. Specifically, we build a simple NeRF+SR pipeline that directly combines existing modules, and we propose a lightweight augmentation technique, random patch sampling, for training. Compared to existing NeRF+SR methods, our pipeline mitigates the SR computing overhead and can be trained up to 23x faster, making it feasible to run on consumer devices such as the Apple MacBook. Experiments show our pipeline can upscale NeRF outputs by 2-4x while maintaining high quality, increasing inference speeds by up to 18x on an NVIDIA V100 GPU and 12.8x on an M1 Pro chip. We conclude that SR can be a simple but effective technique for improving the efficiency of NeRF models for consumer devices.