Strivec: スパース・トライベクトル放射フィールド

要旨

我々はStrivecという新しいニューラル表現を提案する。これは3Dシーンを、まばらに分布しコンパクトに分解された局所テンソル特徴グリッドを持つ放射場としてモデル化する。我々のアプローチは、最近の研究TensoRFに従い、テンソル分解を活用してテンソルグリッドをモデル化する。TensoRFがグローバルテンソルを使用し、そのベクトル-行列分解に焦点を当てるのに対し、我々は局所テンソルのクラウドを利用し、古典的なCANDECOMP/PARAFAC（CP）分解を適用して各テンソルを空間軸に沿った局所特徴分布を表現し、局所ニューラル場をコンパクトに符号化する三重ベクトルに分解することを提案する。また、マルチスケールテンソルグリッドを適用して幾何学と外観の共通性を発見し、複数の局所スケールで三重ベクトル分解を利用して空間的コヒーレンスを活用する。最終的な放射場の特性は、すべてのスケールにわたる複数の局所テンソルからのニューラル特徴を集約することによって回帰される。我々の三重ベクトルテンソルは、高速な粗い再構成によって発見された実際のシーン表面の周りにまばらに分布しており、3Dシーンのスパース性を活用している。我々のモデルが、TensoRFやInstant-NGPを含む以前の方法よりも大幅に少ないパラメータを使用しながら、より優れたレンダリング品質を達成できることを実証する。

English

We propose Strivec, a novel neural representation that models a 3D scene as a radiance field with sparsely distributed and compactly factorized local tensor feature grids. Our approach leverages tensor decomposition, following the recent work TensoRF, to model the tensor grids. In contrast to TensoRF which uses a global tensor and focuses on their vector-matrix decomposition, we propose to utilize a cloud of local tensors and apply the classic CANDECOMP/PARAFAC (CP) decomposition to factorize each tensor into triple vectors that express local feature distributions along spatial axes and compactly encode a local neural field. We also apply multi-scale tensor grids to discover the geometry and appearance commonalities and exploit spatial coherence with the tri-vector factorization at multiple local scales. The final radiance field properties are regressed by aggregating neural features from multiple local tensors across all scales. Our tri-vector tensors are sparsely distributed around the actual scene surface, discovered by a fast coarse reconstruction, leveraging the sparsity of a 3D scene. We demonstrate that our model can achieve better rendering quality while using significantly fewer parameters than previous methods, including TensoRF and Instant-NGP.

Strivec: スパース・トライベクトル放射フィールド

Strivec: Sparse Tri-Vector Radiance Fields

要旨

Support