Strivec: Campi di Radianza Sparse a Tri-Vettore

Strivec: Sparse Tri-Vector Radiance Fields

July 25, 2023

Autori: Quankai Gao, Qiangeng Xu, Hao Su, Ulrich Neumann, Zexiang Xu

cs.AI

Abstract

Proponiamo Strivec, una nuova rappresentazione neurale che modella una scena 3D come un campo di radianza con griglie di tensori locali distribuite in modo sparso e compattamente fattorizzate. Il nostro approccio sfrutta la decomposizione tensoriale, seguendo il recente lavoro TensoRF, per modellare le griglie di tensori. A differenza di TensoRF, che utilizza un tensore globale e si concentra sulla loro decomposizione vettore-matrice, proponiamo di utilizzare una nuvola di tensori locali e applicare la classica decomposizione CANDECOMP/PARAFAC (CP) per fattorizzare ciascun tensore in triple vettoriali che esprimono le distribuzioni di caratteristiche locali lungo gli assi spaziali e codificano in modo compatto un campo neurale locale. Applichiamo inoltre griglie di tensori multi-scala per scoprire le comunanze geometriche e di aspetto e sfruttare la coerenza spaziale con la fattorizzazione tri-vettoriale a più scale locali. Le proprietà finali del campo di radianza vengono regresse aggregando le caratteristiche neurali da più tensori locali su tutte le scale. I nostri tensori tri-vettoriali sono distribuiti in modo sparso intorno alla superficie effettiva della scena, scoperta da una ricostruzione approssimativa veloce, sfruttando la sparsità di una scena 3D. Dimostriamo che il nostro modello può ottenere una qualità di rendering migliore utilizzando significativamente meno parametri rispetto ai metodi precedenti, inclusi TensoRF e Instant-NGP.

English

We propose Strivec, a novel neural representation that models a 3D scene as a radiance field with sparsely distributed and compactly factorized local tensor feature grids. Our approach leverages tensor decomposition, following the recent work TensoRF, to model the tensor grids. In contrast to TensoRF which uses a global tensor and focuses on their vector-matrix decomposition, we propose to utilize a cloud of local tensors and apply the classic CANDECOMP/PARAFAC (CP) decomposition to factorize each tensor into triple vectors that express local feature distributions along spatial axes and compactly encode a local neural field. We also apply multi-scale tensor grids to discover the geometry and appearance commonalities and exploit spatial coherence with the tri-vector factorization at multiple local scales. The final radiance field properties are regressed by aggregating neural features from multiple local tensors across all scales. Our tri-vector tensors are sparsely distributed around the actual scene surface, discovered by a fast coarse reconstruction, leveraging the sparsity of a 3D scene. We demonstrate that our model can achieve better rendering quality while using significantly fewer parameters than previous methods, including TensoRF and Instant-NGP.