FastSR-NeRF: 간단한 초해상도 파이프라인을 통해 소비자 기기에서의 NeRF 효율성 개선

초록

초해상도(Super-resolution, SR) 기술은 최근 신경 방사 필드(Neural Radiance Fields, NeRF)의 출력을 업스케일링하고 향상된 추론 속도로 고품질 이미지를 생성하기 위해 제안되었습니다. 그러나 기존의 NeRF+SR 방법은 추가 입력 특징, 손실 함수, 그리고 지식 증류와 같은 고비용의 학습 절차를 사용함으로써 학습 오버헤드를 증가시킵니다. 본 논문에서는 비용이 많이 드는 학습이나 아키텍처 변경 없이 SR을 활용하여 효율성을 높이는 것을 목표로 합니다. 구체적으로, 우리는 기존 모듈을 직접 결합한 간단한 NeRF+SR 파이프라인을 구축하고, 학습을 위한 경량화된 증강 기법인 랜덤 패치 샘플링을 제안합니다. 기존 NeRF+SR 방법과 비교하여, 우리의 파이프라인은 SR 계산 오버헤드를 완화하고 최대 23배 빠르게 학습할 수 있어 Apple MacBook과 같은 소비자 기기에서 실행이 가능합니다. 실험 결과, 우리의 파이프라인은 NeRF 출력을 2-4배 업스케일링하면서도 높은 품질을 유지하며, NVIDIA V100 GPU에서는 최대 18배, M1 Pro 칩에서는 12.8배의 추론 속도 향상을 보였습니다. 우리는 SR이 소비자 기기를 위한 NeRF 모델의 효율성을 개선하는 간단하지만 효과적인 기술이 될 수 있다고 결론지었습니다.

English

Super-resolution (SR) techniques have recently been proposed to upscale the outputs of neural radiance fields (NeRF) and generate high-quality images with enhanced inference speeds. However, existing NeRF+SR methods increase training overhead by using extra input features, loss functions, and/or expensive training procedures such as knowledge distillation. In this paper, we aim to leverage SR for efficiency gains without costly training or architectural changes. Specifically, we build a simple NeRF+SR pipeline that directly combines existing modules, and we propose a lightweight augmentation technique, random patch sampling, for training. Compared to existing NeRF+SR methods, our pipeline mitigates the SR computing overhead and can be trained up to 23x faster, making it feasible to run on consumer devices such as the Apple MacBook. Experiments show our pipeline can upscale NeRF outputs by 2-4x while maintaining high quality, increasing inference speeds by up to 18x on an NVIDIA V100 GPU and 12.8x on an M1 Pro chip. We conclude that SR can be a simple but effective technique for improving the efficiency of NeRF models for consumer devices.

FastSR-NeRF: 간단한 초해상도 파이프라인을 통해 소비자 기기에서의 NeRF 효율성 개선

FastSR-NeRF: Improving NeRF Efficiency on Consumer Devices with A Simple Super-Resolution Pipeline

초록

Support