Strivec: Sparse Tri-Vector Radiance Velden

Strivec: Sparse Tri-Vector Radiance Fields

July 25, 2023

Auteurs: Quankai Gao, Qiangeng Xu, Hao Su, Ulrich Neumann, Zexiang Xu

cs.AI

Samenvatting

Wij stellen Strivec voor, een nieuwe neurale representatie die een 3D-scène modelleert als een stralingsveld met spaarzaam verdeelde en compact gefactoriseerde lokale tensorfeaturegrids. Onze aanpak maakt gebruik van tensorontbinding, in navolging van het recente werk TensoRF, om de tensorgrids te modelleren. In tegenstelling tot TensoRF, dat een globale tensor gebruikt en zich richt op hun vector-matrixontbinding, stellen wij voor om een wolk van lokale tensoren te gebruiken en de klassieke CANDECOMP/PARAFAC (CP)-ontbinding toe te passen om elke tensor te factoriseren in drie vectoren die lokale featureverdelingen langs ruimtelijke assen uitdrukken en een lokaal neuraal veld compact coderen. We passen ook multi-schaal tensorgrids toe om de geometrie- en uiterlijk-gemeenschappelijkheden te ontdekken en ruimtelijke samenhang te benutten met de tri-vectorfactorisatie op meerdere lokale schalen. De uiteindelijke eigenschappen van het stralingsveld worden geregresseerd door neurale features te aggregeren van meerdere lokale tensoren over alle schalen. Onze tri-vector tensoren zijn spaarzaam verdeeld rond het werkelijke scèneoppervlak, ontdekt door een snelle grove reconstructie, waarbij de spaarzaamheid van een 3D-scène wordt benut. We demonstreren dat ons model een betere renderkwaliteit kan bereiken terwijl het aanzienlijk minder parameters gebruikt dan vorige methoden, waaronder TensoRF en Instant-NGP.

English

We propose Strivec, a novel neural representation that models a 3D scene as a radiance field with sparsely distributed and compactly factorized local tensor feature grids. Our approach leverages tensor decomposition, following the recent work TensoRF, to model the tensor grids. In contrast to TensoRF which uses a global tensor and focuses on their vector-matrix decomposition, we propose to utilize a cloud of local tensors and apply the classic CANDECOMP/PARAFAC (CP) decomposition to factorize each tensor into triple vectors that express local feature distributions along spatial axes and compactly encode a local neural field. We also apply multi-scale tensor grids to discover the geometry and appearance commonalities and exploit spatial coherence with the tri-vector factorization at multiple local scales. The final radiance field properties are regressed by aggregating neural features from multiple local tensors across all scales. Our tri-vector tensors are sparsely distributed around the actual scene surface, discovered by a fast coarse reconstruction, leveraging the sparsity of a 3D scene. We demonstrate that our model can achieve better rendering quality while using significantly fewer parameters than previous methods, including TensoRF and Instant-NGP.