FastSR-NeRF: Verbesserung der NeRF-Effizienz auf Consumer-Geräten mit einer einfachen Super-Resolution-Pipeline

FastSR-NeRF: Improving NeRF Efficiency on Consumer Devices with A Simple Super-Resolution Pipeline

December 15, 2023

Autoren: Chien-Yu Lin, Qichen Fu, Thomas Merth, Karren Yang, Anurag Ranjan

cs.AI

Zusammenfassung

Super-Resolution (SR)-Techniken wurden kürzlich vorgeschlagen, um die Ausgaben von Neural Radiance Fields (NeRF) zu vergrößern und hochwertige Bilder mit verbesserter Inferenzgeschwindigkeit zu erzeugen. Bestehende NeRF+SR-Methoden erhöhen jedoch den Trainingsaufwand durch die Verwendung zusätzlicher Eingabemerkmale, Verlustfunktionen und/oder aufwendiger Trainingsverfahren wie Wissensdistillation. In diesem Artikel streben wir an, SR für Effizienzgewinne zu nutzen, ohne kostspieliges Training oder architektonische Änderungen. Konkret bauen wir eine einfache NeRF+SR-Pipeline, die bestehende Module direkt kombiniert, und schlagen eine leichtgewichtige Augmentierungstechnik, das zufällige Patch-Sampling, für das Training vor. Im Vergleich zu bestehenden NeRF+SR-Methoden reduziert unsere Pipeline den SR-Rechenaufwand und kann bis zu 23-mal schneller trainiert werden, was die Ausführung auf Consumer-Geräten wie dem Apple MacBook ermöglicht. Experimente zeigen, dass unsere Pipeline NeRF-Ausgaben um das 2-4-fache vergrößern kann, während die hohe Qualität erhalten bleibt, und die Inferenzgeschwindigkeit auf einer NVIDIA V100 GPU um bis zu 18-fach und auf einem M1 Pro Chip um 12,8-fach steigert. Wir kommen zu dem Schluss, dass SR eine einfache, aber effektive Technik zur Verbesserung der Effizienz von NeRF-Modellen für Consumer-Geräte sein kann.

English

Super-resolution (SR) techniques have recently been proposed to upscale the outputs of neural radiance fields (NeRF) and generate high-quality images with enhanced inference speeds. However, existing NeRF+SR methods increase training overhead by using extra input features, loss functions, and/or expensive training procedures such as knowledge distillation. In this paper, we aim to leverage SR for efficiency gains without costly training or architectural changes. Specifically, we build a simple NeRF+SR pipeline that directly combines existing modules, and we propose a lightweight augmentation technique, random patch sampling, for training. Compared to existing NeRF+SR methods, our pipeline mitigates the SR computing overhead and can be trained up to 23x faster, making it feasible to run on consumer devices such as the Apple MacBook. Experiments show our pipeline can upscale NeRF outputs by 2-4x while maintaining high quality, increasing inference speeds by up to 18x on an NVIDIA V100 GPU and 12.8x on an M1 Pro chip. We conclude that SR can be a simple but effective technique for improving the efficiency of NeRF models for consumer devices.