FrugalNeRF: Convergenza Veloce per la Sintesi di Nuove Viste con Pochi Esempi senza Priors Appresi

FrugalNeRF: Fast Convergence for Few-shot Novel View Synthesis without Learned Priors

October 21, 2024

Autori: Chin-Yang Lin, Chung-Ho Wu, Chang-Han Yeh, Shih-Han Yen, Cheng Sun, Yu-Lun Liu

cs.AI

Abstract

I Neural Radiance Fields (NeRF) affrontano significativi sfide nei casi di pochi esempi, principalmente a causa dell'overfitting e dei lunghi tempi di addestramento per la resa ad alta fedeltà. Metodi esistenti, come FreeNeRF e SparseNeRF, utilizzano regolarizzazione in frequenza o prior pre-addestrate ma faticano con la pianificazione complessa e il bias. Introduciamo FrugalNeRF, un nuovo framework NeRF per pochi esempi che sfrutta voxel con condivisione di pesi attraverso molteplici scale per rappresentare efficientemente dettagli della scena. Il nostro contributo chiave è uno schema di adattamento geometrico tra scale che seleziona la profondità pseudo ground truth basata sugli errori di riproiezione tra scale. Questo guida l'addestramento senza dipendere da prior apprese esternamente, consentendo un utilizzo completo dei dati di addestramento. Può anche integrare prior pre-addestrate, migliorando la qualità senza rallentare la convergenza. Gli esperimenti su LLFF, DTU e RealEstate-10K mostrano che FrugalNeRF supera altri metodi NeRF per pochi esempi riducendo significativamente il tempo di addestramento, rendendolo una soluzione pratica per la ricostruzione efficiente e accurata di scene 3D.

English

Neural Radiance Fields (NeRF) face significant challenges in few-shot scenarios, primarily due to overfitting and long training times for high-fidelity rendering. Existing methods, such as FreeNeRF and SparseNeRF, use frequency regularization or pre-trained priors but struggle with complex scheduling and bias. We introduce FrugalNeRF, a novel few-shot NeRF framework that leverages weight-sharing voxels across multiple scales to efficiently represent scene details. Our key contribution is a cross-scale geometric adaptation scheme that selects pseudo ground truth depth based on reprojection errors across scales. This guides training without relying on externally learned priors, enabling full utilization of the training data. It can also integrate pre-trained priors, enhancing quality without slowing convergence. Experiments on LLFF, DTU, and RealEstate-10K show that FrugalNeRF outperforms other few-shot NeRF methods while significantly reducing training time, making it a practical solution for efficient and accurate 3D scene reconstruction.