Strivec: Campos de Radiação Tri-Vetorial Esparsos

Strivec: Sparse Tri-Vector Radiance Fields

July 25, 2023

Autores: Quankai Gao, Qiangeng Xu, Hao Su, Ulrich Neumann, Zexiang Xu

cs.AI

Resumo

Propomos o Strivec, uma nova representação neural que modela uma cena 3D como um campo de radiação com grades de tensores locais distribuídos de forma esparsa e compactamente fatorizados. Nossa abordagem aproveita a decomposição tensorial, seguindo o trabalho recente TensoRF, para modelar as grades de tensores. Em contraste com o TensoRF, que utiliza um tensor global e se concentra em sua decomposição vetor-matriz, propomos utilizar uma nuvem de tensores locais e aplicar a clássica decomposição CANDECOMP/PARAFAC (CP) para fatorizar cada tensor em triplos de vetores que expressam distribuições de características locais ao longo dos eixos espaciais e codificam compactamente um campo neural local. Também aplicamos grades de tensores multiescala para descobrir as similaridades geométricas e de aparência e explorar a coerência espacial com a fatorização tri-vetorial em múltiplas escalas locais. As propriedades finais do campo de radiação são regredidas agregando características neurais de múltiplos tensores locais em todas as escalas. Nossos tensores tri-vetoriais são distribuídos de forma esparsa ao redor da superfície real da cena, descoberta por uma reconstrução grosseira rápida, aproveitando a esparsidade de uma cena 3D. Demonstramos que nosso modelo pode alcançar uma qualidade de renderização superior enquanto utiliza significativamente menos parâmetros do que métodos anteriores, incluindo TensoRF e Instant-NGP.

English

We propose Strivec, a novel neural representation that models a 3D scene as a radiance field with sparsely distributed and compactly factorized local tensor feature grids. Our approach leverages tensor decomposition, following the recent work TensoRF, to model the tensor grids. In contrast to TensoRF which uses a global tensor and focuses on their vector-matrix decomposition, we propose to utilize a cloud of local tensors and apply the classic CANDECOMP/PARAFAC (CP) decomposition to factorize each tensor into triple vectors that express local feature distributions along spatial axes and compactly encode a local neural field. We also apply multi-scale tensor grids to discover the geometry and appearance commonalities and exploit spatial coherence with the tri-vector factorization at multiple local scales. The final radiance field properties are regressed by aggregating neural features from multiple local tensors across all scales. Our tri-vector tensors are sparsely distributed around the actual scene surface, discovered by a fast coarse reconstruction, leveraging the sparsity of a 3D scene. We demonstrate that our model can achieve better rendering quality while using significantly fewer parameters than previous methods, including TensoRF and Instant-NGP.