Strivec: Campos de Radiancia de Tri-Vectores Dispersos

Strivec: Sparse Tri-Vector Radiance Fields

July 25, 2023

Autores: Quankai Gao, Qiangeng Xu, Hao Su, Ulrich Neumann, Zexiang Xu

cs.AI

Resumen

Proponemos Strivec, una representación neuronal novedosa que modela una escena 3D como un campo de radiancia con mallas de características tensoriales locales distribuidas de manera dispersa y factorizadas de forma compacta. Nuestro enfoque aprovecha la descomposición tensorial, siguiendo el trabajo reciente TensoRF, para modelar las mallas tensoriales. A diferencia de TensoRF, que utiliza un tensor global y se centra en su descomposición vector-matriz, proponemos utilizar una nube de tensores locales y aplicar la clásica descomposición CANDECOMP/PARAFAC (CP) para factorizar cada tensor en tripletes de vectores que expresan distribuciones de características locales a lo largo de ejes espaciales y codifican de manera compacta un campo neuronal local. También aplicamos mallas tensoriales multi-escala para descubrir las similitudes geométricas y de apariencia, y explotamos la coherencia espacial con la factorización tri-vectorial en múltiples escalas locales. Las propiedades finales del campo de radiancia se obtienen mediante la agregación de características neuronales de múltiples tensores locales en todas las escalas. Nuestros tensores tri-vectoriales se distribuyen de manera dispersa alrededor de la superficie real de la escena, descubierta mediante una reconstrucción gruesa rápida, aprovechando la dispersión de una escena 3D. Demostramos que nuestro modelo puede lograr una mejor calidad de renderizado mientras utiliza significativamente menos parámetros que métodos anteriores, incluyendo TensoRF e Instant-NGP.

English

We propose Strivec, a novel neural representation that models a 3D scene as a radiance field with sparsely distributed and compactly factorized local tensor feature grids. Our approach leverages tensor decomposition, following the recent work TensoRF, to model the tensor grids. In contrast to TensoRF which uses a global tensor and focuses on their vector-matrix decomposition, we propose to utilize a cloud of local tensors and apply the classic CANDECOMP/PARAFAC (CP) decomposition to factorize each tensor into triple vectors that express local feature distributions along spatial axes and compactly encode a local neural field. We also apply multi-scale tensor grids to discover the geometry and appearance commonalities and exploit spatial coherence with the tri-vector factorization at multiple local scales. The final radiance field properties are regressed by aggregating neural features from multiple local tensors across all scales. Our tri-vector tensors are sparsely distributed around the actual scene surface, discovered by a fast coarse reconstruction, leveraging the sparsity of a 3D scene. We demonstrate that our model can achieve better rendering quality while using significantly fewer parameters than previous methods, including TensoRF and Instant-NGP.