SlimmeRF: Campos de Radiación Ajustables

SlimmeRF: Slimmable Radiance Fields

December 15, 2023

Autores: Shiran Yuan, Hao Zhao

cs.AI

Resumen

Neural Radiance Field (NeRF) y sus variantes han surgido recientemente como métodos exitosos para la síntesis de nuevas vistas y la reconstrucción de escenas 3D. Sin embargo, la mayoría de los modelos NeRF actuales logran alta precisión utilizando tamaños de modelo grandes, o alcanzan alta eficiencia de memoria sacrificando precisión. Esto limita el alcance aplicable de cualquier modelo individual, ya que los modelos de alta precisión podrían no caber en dispositivos con poca memoria, y los modelos eficientes en memoria podrían no satisfacer los requisitos de alta calidad. Con este fin, presentamos SlimmeRF, un modelo que permite realizar ajustes instantáneos en tiempo de prueba entre el tamaño del modelo y la precisión mediante el adelgazamiento, lo que hace que el modelo sea simultáneamente adecuado para escenarios con diferentes presupuestos de computación. Logramos esto a través de un nuevo algoritmo propuesto llamado Incrementación de Rango Tensorial (TRaIn), que aumenta gradualmente el rango de la representación tensorial del modelo durante el entrenamiento. También observamos que nuestro modelo permite ajustes más efectivos en escenarios de vistas escasas, logrando en ocasiones incluso mayor precisión después de ser adelgazado. Atribuimos esto al hecho de que información errónea, como artefactos flotantes, tiende a almacenarse en componentes correspondientes a rangos más altos. Nuestra implementación está disponible en https://github.com/Shiran-Yuan/SlimmeRF.

English

Neural Radiance Field (NeRF) and its variants have recently emerged as successful methods for novel view synthesis and 3D scene reconstruction. However, most current NeRF models either achieve high accuracy using large model sizes, or achieve high memory-efficiency by trading off accuracy. This limits the applicable scope of any single model, since high-accuracy models might not fit in low-memory devices, and memory-efficient models might not satisfy high-quality requirements. To this end, we present SlimmeRF, a model that allows for instant test-time trade-offs between model size and accuracy through slimming, thus making the model simultaneously suitable for scenarios with different computing budgets. We achieve this through a newly proposed algorithm named Tensorial Rank Incrementation (TRaIn) which increases the rank of the model's tensorial representation gradually during training. We also observe that our model allows for more effective trade-offs in sparse-view scenarios, at times even achieving higher accuracy after being slimmed. We credit this to the fact that erroneous information such as floaters tend to be stored in components corresponding to higher ranks. Our implementation is available at https://github.com/Shiran-Yuan/SlimmeRF.