Strivec: 희소 삼중 벡터 광도 필드

Strivec: Sparse Tri-Vector Radiance Fields

July 25, 2023

저자: Quankai Gao, Qiangeng Xu, Hao Su, Ulrich Neumann, Zexiang Xu

cs.AI

초록

우리는 3D 장면을 희소하게 분포된 컴팩트하게 인수분해된 로컬 텐서 특성 그리드로 구성된 복사장(radiance field)으로 모델링하는 새로운 신경망 표현인 Strivec를 제안합니다. 우리의 접근 방식은 최근 연구인 TensoRF를 따라 텐서 그리드를 모델링하기 위해 텐서 분해를 활용합니다. TensoRF가 전역 텐서를 사용하고 벡터-행렬 분해에 초점을 맞추는 것과 달리, 우리는 로컬 텐서 클라우드를 활용하고 고전적인 CANDECOMP/PARAFAC(CP) 분해를 적용하여 각 텐서를 공간 축을 따라 로컬 특성 분포를 표현하고 로컬 신경망 필드를 컴팩트하게 인코딩하는 삼중 벡터로 분해할 것을 제안합니다. 또한, 우리는 다중 스케일 텐서 그리드를 적용하여 기하학적 및 외관적 공통성을 발견하고 다중 로컬 스케일에서 삼중 벡터 분해를 통해 공간 일관성을 활용합니다. 최종 복사장 특성은 모든 스케일에서 다중 로컬 텐서로부터 신경망 특성을 집계하여 회귀합니다. 우리의 삼중 벡터 텐서는 빠른 개략적 재구성을 통해 발견된 실제 장면 표면 주변에 희소하게 분포하며, 3D 장면의 희소성을 활용합니다. 우리는 우리의 모델이 TensoRF와 Instant-NGP를 포함한 이전 방법들보다 훨씬 적은 매개변수를 사용하면서도 더 나은 렌더링 품질을 달성할 수 있음을 입증합니다.

English

We propose Strivec, a novel neural representation that models a 3D scene as a radiance field with sparsely distributed and compactly factorized local tensor feature grids. Our approach leverages tensor decomposition, following the recent work TensoRF, to model the tensor grids. In contrast to TensoRF which uses a global tensor and focuses on their vector-matrix decomposition, we propose to utilize a cloud of local tensors and apply the classic CANDECOMP/PARAFAC (CP) decomposition to factorize each tensor into triple vectors that express local feature distributions along spatial axes and compactly encode a local neural field. We also apply multi-scale tensor grids to discover the geometry and appearance commonalities and exploit spatial coherence with the tri-vector factorization at multiple local scales. The final radiance field properties are regressed by aggregating neural features from multiple local tensors across all scales. Our tri-vector tensors are sparsely distributed around the actual scene surface, discovered by a fast coarse reconstruction, leveraging the sparsity of a 3D scene. We demonstrate that our model can achieve better rendering quality while using significantly fewer parameters than previous methods, including TensoRF and Instant-NGP.