Strivec : Champs de radiance tri-vectoriels creux

Strivec: Sparse Tri-Vector Radiance Fields

July 25, 2023

Auteurs: Quankai Gao, Qiangeng Xu, Hao Su, Ulrich Neumann, Zexiang Xu

cs.AI

Résumé

Nous proposons Strivec, une nouvelle représentation neuronale qui modélise une scène 3D comme un champ de radiance avec des grilles de tenseurs locaux distribués de manière éparse et factorisés de manière compacte. Notre approche exploite la décomposition tensorielle, suivant les travaux récents de TensoRF, pour modéliser les grilles de tenseurs. Contrairement à TensoRF qui utilise un tenseur global et se concentre sur leur décomposition vecteur-matrice, nous proposons d'utiliser un nuage de tenseurs locaux et d'appliquer la décomposition classique CANDECOMP/PARAFAC (CP) pour factoriser chaque tenseur en triplets de vecteurs qui expriment les distributions de caractéristiques locales le long des axes spatiaux et encodent de manière compacte un champ neuronal local. Nous appliquons également des grilles de tenseurs multi-échelles pour découvrir les similitudes géométriques et d'apparence, et exploitons la cohérence spatiale avec la factorisation en triplets de vecteurs à plusieurs échelles locales. Les propriétés finales du champ de radiance sont régressées en agrégeant les caractéristiques neuronales de plusieurs tenseurs locaux à travers toutes les échelles. Nos tenseurs en triplets de vecteurs sont distribués de manière éparse autour de la surface réelle de la scène, découverte par une reconstruction grossière rapide, tirant parti de la parcimonie d'une scène 3D. Nous démontrons que notre modèle peut atteindre une meilleure qualité de rendu tout en utilisant significativement moins de paramètres que les méthodes précédentes, y compris TensoRF et Instant-NGP.

English

We propose Strivec, a novel neural representation that models a 3D scene as a radiance field with sparsely distributed and compactly factorized local tensor feature grids. Our approach leverages tensor decomposition, following the recent work TensoRF, to model the tensor grids. In contrast to TensoRF which uses a global tensor and focuses on their vector-matrix decomposition, we propose to utilize a cloud of local tensors and apply the classic CANDECOMP/PARAFAC (CP) decomposition to factorize each tensor into triple vectors that express local feature distributions along spatial axes and compactly encode a local neural field. We also apply multi-scale tensor grids to discover the geometry and appearance commonalities and exploit spatial coherence with the tri-vector factorization at multiple local scales. The final radiance field properties are regressed by aggregating neural features from multiple local tensors across all scales. Our tri-vector tensors are sparsely distributed around the actual scene surface, discovered by a fast coarse reconstruction, leveraging the sparsity of a 3D scene. We demonstrate that our model can achieve better rendering quality while using significantly fewer parameters than previous methods, including TensoRF and Instant-NGP.