슬림RF: 슬림 가능한 방사 필드

SlimmeRF: Slimmable Radiance Fields

December 15, 2023

저자: Shiran Yuan, Hao Zhao

cs.AI

초록

Neural Radiance Field (NeRF)와 그 변형 모델들은 최근 새로운 시점 합성 및 3D 장면 재구성을 위한 성공적인 방법으로 부상했습니다. 그러나 현재 대부분의 NeRF 모델은 큰 모델 크기를 사용해 높은 정확도를 달성하거나, 정확도를 희생시켜 높은 메모리 효율성을 달성하는 방식으로 동작합니다. 이는 단일 모델의 적용 범위를 제한하는데, 높은 정확도의 모델은 저메모리 장치에 적합하지 않을 수 있고, 메모리 효율적인 모델은 고품질 요구사항을 충족시키지 못할 수 있기 때문입니다. 이를 해결하기 위해, 우리는 SlimmeRF를 제안합니다. 이 모델은 슬리밍(slimming)을 통해 테스트 시점에서 모델 크기와 정확도 간의 즉각적인 트레이드오프를 가능하게 하여, 다양한 컴퓨팅 예산을 가진 시나리오에 동시에 적합하도록 만듭니다. 우리는 이를 위해 Tensorial Rank Incrementation (TRaIn)이라는 새로운 알고리즘을 제안했는데, 이는 훈련 중에 모델의 텐서 표현의 랭크를 점진적으로 증가시킵니다. 또한, 우리 모델이 희소 시점(sparse-view) 시나리오에서 더 효과적인 트레이드오프를 가능하게 하며, 때로는 슬리밍 후에 더 높은 정확도를 달성하는 것을 관찰했습니다. 우리는 이 현상을 플로터(floater)와 같은 오류 정보가 일반적으로 더 높은 랭크에 해당하는 구성 요소에 저장되는 경향이 있기 때문이라고 설명합니다. 우리의 구현은 https://github.com/Shiran-Yuan/SlimmeRF에서 확인할 수 있습니다.

English

Neural Radiance Field (NeRF) and its variants have recently emerged as successful methods for novel view synthesis and 3D scene reconstruction. However, most current NeRF models either achieve high accuracy using large model sizes, or achieve high memory-efficiency by trading off accuracy. This limits the applicable scope of any single model, since high-accuracy models might not fit in low-memory devices, and memory-efficient models might not satisfy high-quality requirements. To this end, we present SlimmeRF, a model that allows for instant test-time trade-offs between model size and accuracy through slimming, thus making the model simultaneously suitable for scenarios with different computing budgets. We achieve this through a newly proposed algorithm named Tensorial Rank Incrementation (TRaIn) which increases the rank of the model's tensorial representation gradually during training. We also observe that our model allows for more effective trade-offs in sparse-view scenarios, at times even achieving higher accuracy after being slimmed. We credit this to the fact that erroneous information such as floaters tend to be stored in components corresponding to higher ranks. Our implementation is available at https://github.com/Shiran-Yuan/SlimmeRF.