SlimmeRF: Масштабируемые поля излучения

SlimmeRF: Slimmable Radiance Fields

December 15, 2023

Авторы: Shiran Yuan, Hao Zhao

cs.AI

Аннотация

Нейронные поля излучения (NeRF) и их варианты недавно стали успешными методами для синтеза новых видов и реконструкции 3D-сцен. Однако большинство современных моделей NeRF либо достигают высокой точности за счет больших размеров модели, либо обеспечивают высокую эффективность использования памяти за счет снижения точности. Это ограничивает область применения любой отдельной модели, поскольку высокоточные модели могут не поместиться в устройства с ограниченной памятью, а модели с высокой эффективностью использования памяти могут не удовлетворять требованиям к качеству. В связи с этим мы представляем SlimmeRF — модель, которая позволяет мгновенно регулировать компромисс между размером модели и точностью во время тестирования за счет "упрощения", что делает модель одновременно подходящей для сценариев с различными вычислительными бюджетами. Мы достигаем этого с помощью нового алгоритма под названием Тензорное Увеличение Ранга (Tensorial Rank Incrementation, TRaIn), который постепенно увеличивает ранг тензорного представления модели в процессе обучения. Мы также наблюдаем, что наша модель позволяет более эффективно регулировать компромиссы в сценариях с ограниченным количеством видов, иногда даже достигая более высокой точности после упрощения. Мы связываем это с тем, что ошибочная информация, такая как артефакты, обычно хранится в компонентах, соответствующих более высоким рангам. Наша реализация доступна по адресу https://github.com/Shiran-Yuan/SlimmeRF.

English

Neural Radiance Field (NeRF) and its variants have recently emerged as successful methods for novel view synthesis and 3D scene reconstruction. However, most current NeRF models either achieve high accuracy using large model sizes, or achieve high memory-efficiency by trading off accuracy. This limits the applicable scope of any single model, since high-accuracy models might not fit in low-memory devices, and memory-efficient models might not satisfy high-quality requirements. To this end, we present SlimmeRF, a model that allows for instant test-time trade-offs between model size and accuracy through slimming, thus making the model simultaneously suitable for scenarios with different computing budgets. We achieve this through a newly proposed algorithm named Tensorial Rank Incrementation (TRaIn) which increases the rank of the model's tensorial representation gradually during training. We also observe that our model allows for more effective trade-offs in sparse-view scenarios, at times even achieving higher accuracy after being slimmed. We credit this to the fact that erroneous information such as floaters tend to be stored in components corresponding to higher ranks. Our implementation is available at https://github.com/Shiran-Yuan/SlimmeRF.