FrugalNeRF: Convergencia rápida para síntesis de vistas novedosas con pocas tomas sin Priors Aprendidos

FrugalNeRF: Fast Convergence for Few-shot Novel View Synthesis without Learned Priors

October 21, 2024

Autores: Chin-Yang Lin, Chung-Ho Wu, Chang-Han Yeh, Shih-Han Yen, Cheng Sun, Yu-Lun Liu

cs.AI

Resumen

Los Campos de Radiación Neurales (NeRF) enfrentan desafíos significativos en escenarios de poca cantidad de datos, principalmente debido al sobreajuste y a los largos tiempos de entrenamiento para renderizado de alta fidelidad. Métodos existentes, como FreeNeRF y SparseNeRF, utilizan regularización de frecuencia o priors pre-entrenados pero tienen dificultades con la programación compleja y sesgos. Presentamos FrugalNeRF, un nuevo marco de trabajo NeRF de poca cantidad de datos que aprovecha la compartición de pesos en voxels a través de múltiples escalas para representar eficientemente detalles de escena. Nuestra contribución clave es un esquema de adaptación geométrica entre escalas que selecciona profundidades pseudo verdaderas basadas en errores de reproyección a través de escalas. Esto guía el entrenamiento sin depender de priors aprendidos externamente, permitiendo la utilización completa de los datos de entrenamiento. También puede integrar priors pre-entrenados, mejorando la calidad sin ralentizar la convergencia. Experimentos en LLFF, DTU y RealEstate-10K muestran que FrugalNeRF supera a otros métodos NeRF de poca cantidad de datos mientras reduce significativamente el tiempo de entrenamiento, convirtiéndolo en una solución práctica para la reconstrucción eficiente y precisa de escenas 3D.

English

Neural Radiance Fields (NeRF) face significant challenges in few-shot scenarios, primarily due to overfitting and long training times for high-fidelity rendering. Existing methods, such as FreeNeRF and SparseNeRF, use frequency regularization or pre-trained priors but struggle with complex scheduling and bias. We introduce FrugalNeRF, a novel few-shot NeRF framework that leverages weight-sharing voxels across multiple scales to efficiently represent scene details. Our key contribution is a cross-scale geometric adaptation scheme that selects pseudo ground truth depth based on reprojection errors across scales. This guides training without relying on externally learned priors, enabling full utilization of the training data. It can also integrate pre-trained priors, enhancing quality without slowing convergence. Experiments on LLFF, DTU, and RealEstate-10K show that FrugalNeRF outperforms other few-shot NeRF methods while significantly reducing training time, making it a practical solution for efficient and accurate 3D scene reconstruction.