FrugalNeRF: Convergência Rápida para Síntese de Novas Visualizações com Poucas Imagens sem Priors Aprendidos

FrugalNeRF: Fast Convergence for Few-shot Novel View Synthesis without Learned Priors

October 21, 2024

Autores: Chin-Yang Lin, Chung-Ho Wu, Chang-Han Yeh, Shih-Han Yen, Cheng Sun, Yu-Lun Liu

cs.AI

Resumo

Os Campos de Radiância Neural (NeRF) enfrentam desafios significativos em cenários de poucas amostras, principalmente devido ao overfitting e longos tempos de treinamento para renderização de alta fidelidade. Métodos existentes, como FreeNeRF e SparseNeRF, utilizam regularização de frequência ou priors pré-treinados, mas enfrentam dificuldades com agendamento complexo e viés. Apresentamos o FrugalNeRF, um novo framework NeRF de poucas amostras que aproveita voxels de compartilhamento de peso em várias escalas para representar eficientemente detalhes da cena. Nossa contribuição chave é um esquema de adaptação geométrica entre escalas que seleciona profundidade pseudo ground truth com base em erros de reprojeção entre escalas. Isso guia o treinamento sem depender de priors aprendidos externamente, permitindo a utilização total dos dados de treinamento. Também pode integrar priors pré-treinados, melhorando a qualidade sem retardar a convergência. Experimentos em LLFF, DTU e RealEstate-10K mostram que o FrugalNeRF supera outros métodos NeRF de poucas amostras, reduzindo significativamente o tempo de treinamento, tornando-o uma solução prática para reconstrução eficiente e precisa de cenas 3D.

English

Neural Radiance Fields (NeRF) face significant challenges in few-shot scenarios, primarily due to overfitting and long training times for high-fidelity rendering. Existing methods, such as FreeNeRF and SparseNeRF, use frequency regularization or pre-trained priors but struggle with complex scheduling and bias. We introduce FrugalNeRF, a novel few-shot NeRF framework that leverages weight-sharing voxels across multiple scales to efficiently represent scene details. Our key contribution is a cross-scale geometric adaptation scheme that selects pseudo ground truth depth based on reprojection errors across scales. This guides training without relying on externally learned priors, enabling full utilization of the training data. It can also integrate pre-trained priors, enhancing quality without slowing convergence. Experiments on LLFF, DTU, and RealEstate-10K show that FrugalNeRF outperforms other few-shot NeRF methods while significantly reducing training time, making it a practical solution for efficient and accurate 3D scene reconstruction.