FastSR-NeRF: Verbetering van de efficiëntie van NeRF op consumentenapparaten met een eenvoudige superresolutie-pipeline

FastSR-NeRF: Improving NeRF Efficiency on Consumer Devices with A Simple Super-Resolution Pipeline

December 15, 2023

Auteurs: Chien-Yu Lin, Qichen Fu, Thomas Merth, Karren Yang, Anurag Ranjan

cs.AI

Samenvatting

Super-resolutie (SR) technieken zijn recentelijk voorgesteld om de uitvoer van neurale stralingsvelden (NeRF) op te schalen en hoogwaardige afbeeldingen te genereren met verbeterde inferentiesnelheden. Bestaande NeRF+SR-methoden verhogen echter de trainingsoverhead door gebruik te maken van extra invoerkenmerken, verliesfuncties en/of dure trainingsprocedures zoals kennisdistillatie. In dit artikel streven we ernaar SR te benutten voor efficiëntiewinsten zonder kostbare training of architectuurwijzigingen. Specifiek bouwen we een eenvoudige NeRF+SR-pijplijn die bestaande modules direct combineert, en we stellen een lichtgewicht augmentatietechniek voor, willekeurige patch sampling, voor de training. In vergelijking met bestaande NeRF+SR-methoden vermindert onze pijplijn de SR-rekenoverhead en kan deze tot 23x sneller worden getraind, waardoor het haalbaar wordt om uit te voeren op consumentenapparaten zoals de Apple MacBook. Experimenten tonen aan dat onze pijplijn NeRF-uitvoer met 2-4x kan opschalen terwijl de hoge kwaliteit behouden blijft, wat de inferentiesnelheden tot 18x verhoogt op een NVIDIA V100 GPU en 12.8x op een M1 Pro-chip. We concluderen dat SR een eenvoudige maar effectieve techniek kan zijn om de efficiëntie van NeRF-modellen voor consumentenapparaten te verbeteren.

English

Super-resolution (SR) techniques have recently been proposed to upscale the outputs of neural radiance fields (NeRF) and generate high-quality images with enhanced inference speeds. However, existing NeRF+SR methods increase training overhead by using extra input features, loss functions, and/or expensive training procedures such as knowledge distillation. In this paper, we aim to leverage SR for efficiency gains without costly training or architectural changes. Specifically, we build a simple NeRF+SR pipeline that directly combines existing modules, and we propose a lightweight augmentation technique, random patch sampling, for training. Compared to existing NeRF+SR methods, our pipeline mitigates the SR computing overhead and can be trained up to 23x faster, making it feasible to run on consumer devices such as the Apple MacBook. Experiments show our pipeline can upscale NeRF outputs by 2-4x while maintaining high quality, increasing inference speeds by up to 18x on an NVIDIA V100 GPU and 12.8x on an M1 Pro chip. We conclude that SR can be a simple but effective technique for improving the efficiency of NeRF models for consumer devices.