FastSR-NeRF : Amélioration de l'efficacité de NeRF sur les appareils grand public grâce à un pipeline de super-résolution simple

FastSR-NeRF: Improving NeRF Efficiency on Consumer Devices with A Simple Super-Resolution Pipeline

December 15, 2023

papers.authors: Chien-Yu Lin, Qichen Fu, Thomas Merth, Karren Yang, Anurag Ranjan

cs.AI

papers.abstract

Les techniques de super-résolution (SR) ont récemment été proposées pour augmenter la résolution des sorties des champs de radiance neuronaux (NeRF) et générer des images de haute qualité avec des vitesses d'inférence améliorées. Cependant, les méthodes existantes combinant NeRF et SR augmentent la surcharge d'entraînement en utilisant des caractéristiques d'entrée supplémentaires, des fonctions de perte et/ou des procédures d'entraînement coûteuses telles que la distillation de connaissances. Dans cet article, nous visons à exploiter la SR pour des gains d'efficacité sans entraînement coûteux ni modifications architecturales. Plus précisément, nous construisons un pipeline simple combinant NeRF et SR qui intègre directement des modules existants, et nous proposons une technique d'augmentation légère, l'échantillonnage aléatoire de patchs, pour l'entraînement. Par rapport aux méthodes existantes combinant NeRF et SR, notre pipeline réduit la surcharge de calcul liée à la SR et peut être entraîné jusqu'à 23 fois plus rapidement, le rendant utilisable sur des appareils grand public tels que le MacBook d'Apple. Les expériences montrent que notre pipeline peut augmenter la résolution des sorties de NeRF par un facteur de 2 à 4 tout en maintenant une haute qualité, augmentant les vitesses d'inférence jusqu'à 18 fois sur une GPU NVIDIA V100 et 12,8 fois sur une puce M1 Pro. Nous concluons que la SR peut être une technique simple mais efficace pour améliorer l'efficacité des modèles NeRF sur les appareils grand public.

English

Super-resolution (SR) techniques have recently been proposed to upscale the outputs of neural radiance fields (NeRF) and generate high-quality images with enhanced inference speeds. However, existing NeRF+SR methods increase training overhead by using extra input features, loss functions, and/or expensive training procedures such as knowledge distillation. In this paper, we aim to leverage SR for efficiency gains without costly training or architectural changes. Specifically, we build a simple NeRF+SR pipeline that directly combines existing modules, and we propose a lightweight augmentation technique, random patch sampling, for training. Compared to existing NeRF+SR methods, our pipeline mitigates the SR computing overhead and can be trained up to 23x faster, making it feasible to run on consumer devices such as the Apple MacBook. Experiments show our pipeline can upscale NeRF outputs by 2-4x while maintaining high quality, increasing inference speeds by up to 18x on an NVIDIA V100 GPU and 12.8x on an M1 Pro chip. We conclude that SR can be a simple but effective technique for improving the efficiency of NeRF models for consumer devices.