FastSR-NeRF: Melhorando a Eficiência do NeRF em Dispositivos de Consumo com um Pipeline Simples de Super-Resolução

FastSR-NeRF: Improving NeRF Efficiency on Consumer Devices with A Simple Super-Resolution Pipeline

December 15, 2023

Autores: Chien-Yu Lin, Qichen Fu, Thomas Merth, Karren Yang, Anurag Ranjan

cs.AI

Resumo

Técnicas de super-resolução (SR) têm sido recentemente propostas para ampliar as saídas de campos de radiação neural (NeRF) e gerar imagens de alta qualidade com velocidades de inferência aprimoradas. No entanto, os métodos existentes de NeRF+SR aumentam a sobrecarga de treinamento ao utilizar recursos de entrada adicionais, funções de perda e/ou procedimentos de treinamento caros, como a destilação de conhecimento. Neste artigo, buscamos aproveitar a SR para ganhos de eficiência sem custos adicionais de treinamento ou alterações arquitetônicas. Especificamente, construímos um pipeline simples de NeRF+SR que combina diretamente módulos existentes e propomos uma técnica de aumento leve, a amostragem aleatória de patches, para o treinamento. Em comparação com os métodos existentes de NeRF+SR, nosso pipeline mitiga a sobrecarga computacional da SR e pode ser treinado até 23 vezes mais rápido, tornando viável sua execução em dispositivos de consumo, como o Apple MacBook. Experimentos mostram que nosso pipeline pode ampliar as saídas de NeRF em 2-4 vezes enquanto mantém alta qualidade, aumentando as velocidades de inferência em até 18 vezes em uma GPU NVIDIA V100 e 12,8 vezes em um chip M1 Pro. Concluímos que a SR pode ser uma técnica simples, mas eficaz, para melhorar a eficiência dos modelos NeRF em dispositivos de consumo.

English

Super-resolution (SR) techniques have recently been proposed to upscale the outputs of neural radiance fields (NeRF) and generate high-quality images with enhanced inference speeds. However, existing NeRF+SR methods increase training overhead by using extra input features, loss functions, and/or expensive training procedures such as knowledge distillation. In this paper, we aim to leverage SR for efficiency gains without costly training or architectural changes. Specifically, we build a simple NeRF+SR pipeline that directly combines existing modules, and we propose a lightweight augmentation technique, random patch sampling, for training. Compared to existing NeRF+SR methods, our pipeline mitigates the SR computing overhead and can be trained up to 23x faster, making it feasible to run on consumer devices such as the Apple MacBook. Experiments show our pipeline can upscale NeRF outputs by 2-4x while maintaining high quality, increasing inference speeds by up to 18x on an NVIDIA V100 GPU and 12.8x on an M1 Pro chip. We conclude that SR can be a simple but effective technique for improving the efficiency of NeRF models for consumer devices.