Strivec: Sparse Tri-Vektor Strahlungsfelder

Strivec: Sparse Tri-Vector Radiance Fields

July 25, 2023

Autoren: Quankai Gao, Qiangeng Xu, Hao Su, Ulrich Neumann, Zexiang Xu

cs.AI

Zusammenfassung

Wir stellen Strivec vor, eine neuartige neuronale Repräsentation, die eine 3D-Szene als ein Radiance-Feld mit spärlich verteilten und kompakt faktorisierten lokalen Tensor-Feature-Gittern modelliert. Unser Ansatz nutzt Tensor-Zerlegung, in Anlehnung an die aktuelle Arbeit TensoRF, um die Tensor-Gitter zu modellieren. Im Gegensatz zu TensoRF, das einen globalen Tensor verwendet und sich auf dessen Vektor-Matrix-Zerlegung konzentriert, schlagen wir vor, eine Wolke lokaler Tensoren zu nutzen und die klassische CANDECOMP/PARAFAC (CP)-Zerlegung anzuwenden, um jeden Tensor in Tripel-Vektoren zu faktorisieren, die lokale Feature-Verteilungen entlang der räumlichen Achsen ausdrücken und ein lokales neuronales Feld kompakt kodieren. Wir verwenden auch mehrstufige Tensor-Gitter, um die Geometrie- und Erscheinungsbild-Gemeinsamkeiten zu entdecken und die räumliche Kohärenz mit der Tripel-Vektor-Faktorisierung auf mehreren lokalen Skalen auszunutzen. Die endgültigen Radiance-Feld-Eigenschaften werden durch die Aggregation neuronaler Features aus mehreren lokalen Tensoren über alle Skalen hinweg regressiert. Unsere Tripel-Vektor-Tensoren sind spärlich um die tatsächliche Szeneoberfläche verteilt, die durch eine schnelle Grobrekonstruktion entdeckt wird, wobei die Sparsity einer 3D-Szene ausgenutzt wird. Wir zeigen, dass unser Modell eine bessere Rendering-Qualität erreichen kann, während es signifikant weniger Parameter verwendet als bisherige Methoden, einschließlich TensoRF und Instant-NGP.

English

We propose Strivec, a novel neural representation that models a 3D scene as a radiance field with sparsely distributed and compactly factorized local tensor feature grids. Our approach leverages tensor decomposition, following the recent work TensoRF, to model the tensor grids. In contrast to TensoRF which uses a global tensor and focuses on their vector-matrix decomposition, we propose to utilize a cloud of local tensors and apply the classic CANDECOMP/PARAFAC (CP) decomposition to factorize each tensor into triple vectors that express local feature distributions along spatial axes and compactly encode a local neural field. We also apply multi-scale tensor grids to discover the geometry and appearance commonalities and exploit spatial coherence with the tri-vector factorization at multiple local scales. The final radiance field properties are regressed by aggregating neural features from multiple local tensors across all scales. Our tri-vector tensors are sparsely distributed around the actual scene surface, discovered by a fast coarse reconstruction, leveraging the sparsity of a 3D scene. We demonstrate that our model can achieve better rendering quality while using significantly fewer parameters than previous methods, including TensoRF and Instant-NGP.