SlimmeRF: Slimmable Radiance Felder

SlimmeRF: Slimmable Radiance Fields

December 15, 2023

Autoren: Shiran Yuan, Hao Zhao

cs.AI

Zusammenfassung

Neural Radiance Field (NeRF) und seine Varianten haben sich kürzlich als erfolgreiche Methoden für die Synthese neuer Ansichten und die 3D-Szenenrekonstruktion etabliert. Die meisten aktuellen NeRF-Modelle erreichen jedoch entweder eine hohe Genauigkeit durch große Modellgrößen oder eine hohe Speichereffizienz durch Kompromisse bei der Genauigkeit. Dies schränkt den Anwendungsbereich eines einzelnen Modells ein, da hochgenaue Modelle möglicherweise nicht auf Geräten mit begrenztem Speicherplatz passen und speichereffiziente Modelle möglicherweise nicht die Anforderungen an hohe Qualität erfüllen. Aus diesem Grund stellen wir SlimmeRF vor, ein Modell, das durch eine Schlankheitsfunktion sofortige Kompromisse zwischen Modellgröße und Genauigkeit zur Testzeit ermöglicht und das Modell somit gleichzeitig für Szenarien mit unterschiedlichen Rechenbudgets geeignet macht. Dies erreichen wir durch einen neu vorgeschlagenen Algorithmus namens Tensorial Rank Incrementation (TRaIn), der den Rang der tensoriellen Darstellung des Modells während des Trainings schrittweise erhöht. Wir beobachten auch, dass unser Modell effektivere Kompromisse in Szenarien mit spärlichen Ansichten ermöglicht und manchmal sogar eine höhere Genauigkeit nach der Schlankheitsanwendung erreicht. Dies führen wir darauf zurück, dass fehlerhafte Informationen wie Floaters tendenziell in Komponenten gespeichert werden, die höheren Rängen entsprechen. Unsere Implementierung ist unter https://github.com/Shiran-Yuan/SlimmeRF verfügbar.

English

Neural Radiance Field (NeRF) and its variants have recently emerged as successful methods for novel view synthesis and 3D scene reconstruction. However, most current NeRF models either achieve high accuracy using large model sizes, or achieve high memory-efficiency by trading off accuracy. This limits the applicable scope of any single model, since high-accuracy models might not fit in low-memory devices, and memory-efficient models might not satisfy high-quality requirements. To this end, we present SlimmeRF, a model that allows for instant test-time trade-offs between model size and accuracy through slimming, thus making the model simultaneously suitable for scenarios with different computing budgets. We achieve this through a newly proposed algorithm named Tensorial Rank Incrementation (TRaIn) which increases the rank of the model's tensorial representation gradually during training. We also observe that our model allows for more effective trade-offs in sparse-view scenarios, at times even achieving higher accuracy after being slimmed. We credit this to the fact that erroneous information such as floaters tend to be stored in components corresponding to higher ranks. Our implementation is available at https://github.com/Shiran-Yuan/SlimmeRF.