SlimmeRF: Schaalbare Radiance Velden

SlimmeRF: Slimmable Radiance Fields

December 15, 2023

Auteurs: Shiran Yuan, Hao Zhao

cs.AI

Samenvatting

Neural Radiance Field (NeRF) en zijn varianten zijn recent naar voren gekomen als succesvolle methoden voor het synthetiseren van nieuwe gezichtspunten en 3D-scène-reconstructie. De meeste huidige NeRF-modellen bereiken echter ofwel een hoge nauwkeurigheid door grote modelgroottes te gebruiken, ofwel een hoge geheugenefficiëntie door in te leveren op nauwkeurigheid. Dit beperkt het toepassingsbereik van elk individueel model, aangezien modellen met hoge nauwkeurigheid mogelijk niet passen in apparaten met weinig geheugen, en geheugenefficiënte modellen mogelijk niet voldoen aan hoge kwaliteitseisen. Daarom presenteren wij SlimmeRF, een model dat door middel van verslanking directe afwegingen mogelijk maakt tussen modelgrootte en nauwkeurigheid tijdens het testen, waardoor het model geschikt is voor scenario's met verschillende rekenbudgetten. Dit bereiken we door een nieuw voorgesteld algoritme genaamd Tensorial Rank Incrementation (TRaIn), dat de rang van de tensoriële representatie van het model geleidelijk verhoogt tijdens de training. We merken ook op dat ons model effectievere afwegingen mogelijk maakt in scenario's met weinig gezichtspunten, en soms zelfs een hogere nauwkeurigheid bereikt na het verslanken. Wij schrijven dit toe aan het feit dat foutieve informatie, zoals zwevende artefacten, vaak wordt opgeslagen in componenten die corresponderen met hogere rangen. Onze implementatie is beschikbaar op https://github.com/Shiran-Yuan/SlimmeRF.

English

Neural Radiance Field (NeRF) and its variants have recently emerged as successful methods for novel view synthesis and 3D scene reconstruction. However, most current NeRF models either achieve high accuracy using large model sizes, or achieve high memory-efficiency by trading off accuracy. This limits the applicable scope of any single model, since high-accuracy models might not fit in low-memory devices, and memory-efficient models might not satisfy high-quality requirements. To this end, we present SlimmeRF, a model that allows for instant test-time trade-offs between model size and accuracy through slimming, thus making the model simultaneously suitable for scenarios with different computing budgets. We achieve this through a newly proposed algorithm named Tensorial Rank Incrementation (TRaIn) which increases the rank of the model's tensorial representation gradually during training. We also observe that our model allows for more effective trade-offs in sparse-view scenarios, at times even achieving higher accuracy after being slimmed. We credit this to the fact that erroneous information such as floaters tend to be stored in components corresponding to higher ranks. Our implementation is available at https://github.com/Shiran-Yuan/SlimmeRF.