SlimmeRF: Campi di Radianza Regolabili

SlimmeRF: Slimmable Radiance Fields

December 15, 2023

Autori: Shiran Yuan, Hao Zhao

cs.AI

Abstract

Neural Radiance Field (NeRF) e le sue varianti sono emersi recentemente come metodi di successo per la sintesi di nuove viste e la ricostruzione di scene 3D. Tuttavia, la maggior parte dei modelli NeRF attuali ottiene un'elevata precisione utilizzando dimensioni di modello grandi, oppure raggiunge un'elevata efficienza di memoria a scapito della precisione. Ciò limita l'ambito di applicabilità di un singolo modello, poiché i modelli ad alta precisione potrebbero non essere adatti a dispositivi con memoria limitata, mentre i modelli efficienti in termini di memoria potrebbero non soddisfare requisiti di alta qualità. A tal fine, presentiamo SlimmeRF, un modello che consente compromessi istantanei al momento del test tra dimensione del modello e precisione attraverso un processo di snellimento, rendendo così il modello adatto a scenari con diversi budget computazionali. Raggiungiamo questo obiettivo attraverso un nuovo algoritmo proposto, chiamato Tensorial Rank Incrementation (TRaIn), che aumenta gradualmente il rango della rappresentazione tensoriale del modello durante l'addestramento. Osserviamo inoltre che il nostro modello consente compromessi più efficaci in scenari con viste sparse, a volte raggiungendo persino una precisione maggiore dopo essere stato snellito. Attribuiamo questo al fatto che informazioni errate, come i cosiddetti "floaters", tendono a essere memorizzate nelle componenti corrispondenti a ranghi più elevati. La nostra implementazione è disponibile all'indirizzo https://github.com/Shiran-Yuan/SlimmeRF.

English

Neural Radiance Field (NeRF) and its variants have recently emerged as successful methods for novel view synthesis and 3D scene reconstruction. However, most current NeRF models either achieve high accuracy using large model sizes, or achieve high memory-efficiency by trading off accuracy. This limits the applicable scope of any single model, since high-accuracy models might not fit in low-memory devices, and memory-efficient models might not satisfy high-quality requirements. To this end, we present SlimmeRF, a model that allows for instant test-time trade-offs between model size and accuracy through slimming, thus making the model simultaneously suitable for scenarios with different computing budgets. We achieve this through a newly proposed algorithm named Tensorial Rank Incrementation (TRaIn) which increases the rank of the model's tensorial representation gradually during training. We also observe that our model allows for more effective trade-offs in sparse-view scenarios, at times even achieving higher accuracy after being slimmed. We credit this to the fact that erroneous information such as floaters tend to be stored in components corresponding to higher ranks. Our implementation is available at https://github.com/Shiran-Yuan/SlimmeRF.