FrugalNeRF: Быстрая сходимость для синтеза изображений нового вида с небольшим количеством обучающих примеров без изученных априорных данных

FrugalNeRF: Fast Convergence for Few-shot Novel View Synthesis without Learned Priors

October 21, 2024

Авторы: Chin-Yang Lin, Chung-Ho Wu, Chang-Han Yeh, Shih-Han Yen, Cheng Sun, Yu-Lun Liu

cs.AI

Аннотация

Нейронные поля радиантов (NeRF) сталкиваются с значительными проблемами в сценариях с небольшим количеством обучающих примеров, в основном из-за переобучения и длительного времени обучения для реалистичного визуализирования. Существующие методы, такие как FreeNeRF и SparseNeRF, используют регуляризацию частот или предварительно обученные априорные знания, но испытывают трудности с комплексным планированием и предвзятостью. Мы представляем FrugalNeRF, новую схему NeRF для сценариев с небольшим количеством обучающих примеров, которая использует весовое разделение вокселей на нескольких масштабах для эффективного представления деталей сцены. Нашим ключевым вкладом является схема геометрической адаптации между масштабами, которая выбирает псевдоистинную глубину на основе ошибок репроекции на разных масштабах. Это направляет обучение без использования внешних априорных знаний, обеспечивая полное использование обучающих данных. Также возможно интегрировать предварительно обученные априорные знания, улучшая качество без замедления сходимости. Эксперименты на наборах данных LLFF, DTU и RealEstate-10K показывают, что FrugalNeRF превосходит другие методы NeRF для сценариев с небольшим количеством обучающих примеров, существенно сокращая время обучения, что делает его практичным решением для эффективной и точной реконструкции трехмерных сцен.

English

Neural Radiance Fields (NeRF) face significant challenges in few-shot scenarios, primarily due to overfitting and long training times for high-fidelity rendering. Existing methods, such as FreeNeRF and SparseNeRF, use frequency regularization or pre-trained priors but struggle with complex scheduling and bias. We introduce FrugalNeRF, a novel few-shot NeRF framework that leverages weight-sharing voxels across multiple scales to efficiently represent scene details. Our key contribution is a cross-scale geometric adaptation scheme that selects pseudo ground truth depth based on reprojection errors across scales. This guides training without relying on externally learned priors, enabling full utilization of the training data. It can also integrate pre-trained priors, enhancing quality without slowing convergence. Experiments on LLFF, DTU, and RealEstate-10K show that FrugalNeRF outperforms other few-shot NeRF methods while significantly reducing training time, making it a practical solution for efficient and accurate 3D scene reconstruction.