FastSR-NeRF: Повышение эффективности NeRF на потребительских устройствах с помощью простого конвейера супер-разрешения

FastSR-NeRF: Improving NeRF Efficiency on Consumer Devices with A Simple Super-Resolution Pipeline

December 15, 2023

Авторы: Chien-Yu Lin, Qichen Fu, Thomas Merth, Karren Yang, Anurag Ranjan

cs.AI

Аннотация

Методы суперразрешения (SR) недавно были предложены для масштабирования выходных данных нейронных полей излучения (NeRF) и генерации высококачественных изображений с увеличенной скоростью вывода. Однако существующие подходы NeRF+SR увеличивают нагрузку на обучение за счет использования дополнительных входных признаков, функций потерь и/или дорогостоящих процедур обучения, таких как дистилляция знаний. В данной работе мы стремимся использовать SR для повышения эффективности без затратных изменений в обучении или архитектуре. В частности, мы создаем простой конвейер NeRF+SR, который напрямую объединяет существующие модули, и предлагаем легковесную технику аугментации — случайную выборку патчей — для обучения. По сравнению с существующими методами NeRF+SR, наш конвейер снижает вычислительные затраты на SR и может обучаться до 23 раз быстрее, что делает его пригодным для работы на потребительских устройствах, таких как Apple MacBook. Эксперименты показывают, что наш конвейер может масштабировать выходные данные NeRF в 2-4 раза, сохраняя высокое качество, и увеличивает скорость вывода до 18 раз на GPU NVIDIA V100 и до 12,8 раз на чипе M1 Pro. Мы делаем вывод, что SR может быть простым, но эффективным методом для повышения эффективности моделей NeRF на потребительских устройствах.

English

Super-resolution (SR) techniques have recently been proposed to upscale the outputs of neural radiance fields (NeRF) and generate high-quality images with enhanced inference speeds. However, existing NeRF+SR methods increase training overhead by using extra input features, loss functions, and/or expensive training procedures such as knowledge distillation. In this paper, we aim to leverage SR for efficiency gains without costly training or architectural changes. Specifically, we build a simple NeRF+SR pipeline that directly combines existing modules, and we propose a lightweight augmentation technique, random patch sampling, for training. Compared to existing NeRF+SR methods, our pipeline mitigates the SR computing overhead and can be trained up to 23x faster, making it feasible to run on consumer devices such as the Apple MacBook. Experiments show our pipeline can upscale NeRF outputs by 2-4x while maintaining high quality, increasing inference speeds by up to 18x on an NVIDIA V100 GPU and 12.8x on an M1 Pro chip. We conclude that SR can be a simple but effective technique for improving the efficiency of NeRF models for consumer devices.