SlimmeRF : Champs de rayonnement ajustables

SlimmeRF: Slimmable Radiance Fields

December 15, 2023

Auteurs: Shiran Yuan, Hao Zhao

cs.AI

Résumé

Le Neural Radiance Field (NeRF) et ses variantes ont récemment émergé comme des méthodes efficaces pour la synthèse de nouvelles vues et la reconstruction de scènes 3D. Cependant, la plupart des modèles NeRF actuels atteignent soit une grande précision en utilisant des tailles de modèles importantes, soit une efficacité mémoire élevée en sacrifiant la précision. Cela limite la portée applicable de tout modèle unique, car les modèles à haute précision pourraient ne pas tenir dans des dispositifs à mémoire limitée, et les modèles à efficacité mémoire pourraient ne pas répondre aux exigences de haute qualité. À cette fin, nous présentons SlimmeRF, un modèle qui permet des compromis instantanés au moment du test entre la taille du modèle et la précision grâce à un amincissement, rendant ainsi le modèle simultanément adapté à des scénarios avec différents budgets de calcul. Nous y parvenons grâce à un nouvel algorithme proposé, appelé Tensorial Rank Incrementation (TRaIn), qui augmente progressivement le rang de la représentation tensorielle du modèle pendant l'entraînement. Nous observons également que notre modèle permet des compromis plus efficaces dans des scénarios de vues éparses, atteignant parfois une précision plus élevée après avoir été aminci. Nous attribuons cela au fait que des informations erronées, telles que des artefacts flottants, ont tendance à être stockées dans les composants correspondant à des rangs plus élevés. Notre implémentation est disponible à l'adresse https://github.com/Shiran-Yuan/SlimmeRF.

English

Neural Radiance Field (NeRF) and its variants have recently emerged as successful methods for novel view synthesis and 3D scene reconstruction. However, most current NeRF models either achieve high accuracy using large model sizes, or achieve high memory-efficiency by trading off accuracy. This limits the applicable scope of any single model, since high-accuracy models might not fit in low-memory devices, and memory-efficient models might not satisfy high-quality requirements. To this end, we present SlimmeRF, a model that allows for instant test-time trade-offs between model size and accuracy through slimming, thus making the model simultaneously suitable for scenarios with different computing budgets. We achieve this through a newly proposed algorithm named Tensorial Rank Incrementation (TRaIn) which increases the rank of the model's tensorial representation gradually during training. We also observe that our model allows for more effective trade-offs in sparse-view scenarios, at times even achieving higher accuracy after being slimmed. We credit this to the fact that erroneous information such as floaters tend to be stored in components corresponding to higher ranks. Our implementation is available at https://github.com/Shiran-Yuan/SlimmeRF.