SlimmeRF: Campos de Radiancia Ajustáveis

SlimmeRF: Slimmable Radiance Fields

December 15, 2023

Autores: Shiran Yuan, Hao Zhao

cs.AI

Resumo

Neural Radiance Field (NeRF) e suas variantes surgiram recentemente como métodos bem-sucedidos para síntese de novas visões e reconstrução de cenas 3D. No entanto, a maioria dos modelos NeRF atuais ou alcança alta precisão usando tamanhos de modelo grandes, ou obtém alta eficiência de memória em detrimento da precisão. Isso limita o escopo de aplicação de qualquer modelo individual, já que modelos de alta precisão podem não caber em dispositivos com pouca memória, e modelos eficientes em memória podem não atender a requisitos de alta qualidade. Para isso, apresentamos o SlimmeRF, um modelo que permite trade-offs instantâneos em tempo de teste entre o tamanho do modelo e a precisão por meio de sliming, tornando o modelo simultaneamente adequado para cenários com diferentes orçamentos de computação. Isso é alcançado por meio de um novo algoritmo proposto chamado Incrementação de Rank Tensorial (TRaIn), que aumenta gradualmente o rank da representação tensorial do modelo durante o treinamento. Também observamos que nosso modelo permite trade-offs mais eficazes em cenários de visão esparsa, às vezes até alcançando maior precisão após o sliming. Atribuímos isso ao fato de que informações errôneas, como floaters, tendem a ser armazenadas em componentes correspondentes a ranks mais altos. Nossa implementação está disponível em https://github.com/Shiran-Yuan/SlimmeRF.

English

Neural Radiance Field (NeRF) and its variants have recently emerged as successful methods for novel view synthesis and 3D scene reconstruction. However, most current NeRF models either achieve high accuracy using large model sizes, or achieve high memory-efficiency by trading off accuracy. This limits the applicable scope of any single model, since high-accuracy models might not fit in low-memory devices, and memory-efficient models might not satisfy high-quality requirements. To this end, we present SlimmeRF, a model that allows for instant test-time trade-offs between model size and accuracy through slimming, thus making the model simultaneously suitable for scenarios with different computing budgets. We achieve this through a newly proposed algorithm named Tensorial Rank Incrementation (TRaIn) which increases the rank of the model's tensorial representation gradually during training. We also observe that our model allows for more effective trade-offs in sparse-view scenarios, at times even achieving higher accuracy after being slimmed. We credit this to the fact that erroneous information such as floaters tend to be stored in components corresponding to higher ranks. Our implementation is available at https://github.com/Shiran-Yuan/SlimmeRF.