SlimmeRF: スリム可能な放射輝度場

要旨

Neural Radiance Field (NeRF) とその派生モデルは、最近、新規視点合成や3Dシーン再構成において成功を収めている手法として注目を集めています。しかし、現在のほとんどのNeRFモデルは、大規模なモデルサイズを使用して高い精度を達成するか、あるいは精度を犠牲にしてメモリ効率を高めるかのいずれかです。これにより、単一のモデルの適用範囲が制限されます。なぜなら、高精度モデルは低メモリデバイスに適合しない可能性があり、メモリ効率の高いモデルは高品質の要件を満たさない可能性があるからです。この問題に対処するため、本論文ではSlimmeRFを提案します。SlimmeRFは、スリミングを通じてモデルサイズと精度の間の即時のテスト時トレードオフを可能にし、異なる計算予算を持つシナリオに同時に適したモデルを実現します。これを実現するために、新たに提案されたTensorial Rank Incrementation (TRaIn) というアルゴリズムを使用し、トレーニング中にモデルのテンソル表現のランクを徐々に増加させます。また、我々のモデルは、スパースビューシナリオにおいてより効果的なトレードオフを可能にし、時にはスリミング後にさらに高い精度を達成することも観察しました。これは、フローティングアーティファクトなどの誤った情報が、より高いランクに対応するコンポーネントに保存される傾向があるためであると考えられます。実装はhttps://github.com/Shiran-Yuan/SlimmeRFで公開されています。

English

Neural Radiance Field (NeRF) and its variants have recently emerged as successful methods for novel view synthesis and 3D scene reconstruction. However, most current NeRF models either achieve high accuracy using large model sizes, or achieve high memory-efficiency by trading off accuracy. This limits the applicable scope of any single model, since high-accuracy models might not fit in low-memory devices, and memory-efficient models might not satisfy high-quality requirements. To this end, we present SlimmeRF, a model that allows for instant test-time trade-offs between model size and accuracy through slimming, thus making the model simultaneously suitable for scenarios with different computing budgets. We achieve this through a newly proposed algorithm named Tensorial Rank Incrementation (TRaIn) which increases the rank of the model's tensorial representation gradually during training. We also observe that our model allows for more effective trade-offs in sparse-view scenarios, at times even achieving higher accuracy after being slimmed. We credit this to the fact that erroneous information such as floaters tend to be stored in components corresponding to higher ranks. Our implementation is available at https://github.com/Shiran-Yuan/SlimmeRF.

SlimmeRF: スリム可能な放射輝度場

SlimmeRF: Slimmable Radiance Fields

要旨

Support