Strivec: Разреженные тривекторные поля излучения

Strivec: Sparse Tri-Vector Radiance Fields

July 25, 2023

Авторы: Quankai Gao, Qiangeng Xu, Hao Su, Ulrich Neumann, Zexiang Xu

cs.AI

Аннотация

Мы представляем Strivec — новое нейронное представление, которое моделирует 3D-сцену как поле излучения с разреженно распределенными и компактно факторизованными локальными тензорными сетками признаков. Наш подход использует тензорное разложение, следуя недавней работе TensoRF, для моделирования тензорных сеток. В отличие от TensoRF, который использует глобальный тензор и фокусируется на его векторно-матричном разложении, мы предлагаем использовать облако локальных тензоров и применить классическое разложение CANDECOMP/PARAFAC (CP) для факторизации каждого тензора в тройку векторов, которые выражают локальные распределения признаков вдоль пространственных осей и компактно кодируют локальное нейронное поле. Мы также применяем многоуровневые тензорные сетки для выявления общих закономерностей геометрии и внешнего вида, а также используем пространственную согласованность с тройным векторным разложением на нескольких локальных масштабах. Свойства итогового поля излучения регрессируются путем агрегирования нейронных признаков из множества локальных тензоров на всех уровнях. Наши тройные векторные тензоры разреженно распределены вокруг реальной поверхности сцены, обнаруженной с помощью быстрой грубой реконструкции, что использует разреженность 3D-сцены. Мы демонстрируем, что наша модель может достичь более высокого качества визуализации, используя значительно меньше параметров по сравнению с предыдущими методами, включая TensoRF и Instant-NGP.

English

We propose Strivec, a novel neural representation that models a 3D scene as a radiance field with sparsely distributed and compactly factorized local tensor feature grids. Our approach leverages tensor decomposition, following the recent work TensoRF, to model the tensor grids. In contrast to TensoRF which uses a global tensor and focuses on their vector-matrix decomposition, we propose to utilize a cloud of local tensors and apply the classic CANDECOMP/PARAFAC (CP) decomposition to factorize each tensor into triple vectors that express local feature distributions along spatial axes and compactly encode a local neural field. We also apply multi-scale tensor grids to discover the geometry and appearance commonalities and exploit spatial coherence with the tri-vector factorization at multiple local scales. The final radiance field properties are regressed by aggregating neural features from multiple local tensors across all scales. Our tri-vector tensors are sparsely distributed around the actual scene surface, discovered by a fast coarse reconstruction, leveraging the sparsity of a 3D scene. We demonstrate that our model can achieve better rendering quality while using significantly fewer parameters than previous methods, including TensoRF and Instant-NGP.