学習済みハッシュプローブを備えたコンパクトなニューラルグラフィックスプリミティブ

要旨

ニューラルグラフィックスプリミティブは、グリッド状に配置された学習可能な特徴を保持する空間データ構造によってニューラルネットワークが拡張されると、より高速かつ高品質な結果を達成します。しかし、既存の特徴グリッドは、大きなメモリフットプリント（密または因数分解されたグリッド、ツリー、ハッシュテーブル）または低速なパフォーマンス（インデックス学習とベクトル量子化）のいずれかの欠点を抱えています。本論文では、学習済みプローブを備えたハッシュテーブルがこれらの欠点を解消し、サイズと速度の両面で優れた組み合わせを実現することを示します。推論は、同等の品質を維持しながらプローブなしのハッシュテーブルよりも高速であり、トレーニングはわずか1.2～2.6倍遅いだけで、従来のインデックス学習アプローチを大幅に上回ります。この定式化に至るために、すべての特徴グリッドを共通のフレームワークに当てはめました：それらはそれぞれ、特徴ベクトルのテーブルにインデックスを付けるルックアップ関数に対応します。このフレームワークでは、既存のデータ構造のルックアップ関数は、それらのインデックスの単純な算術的組み合わせによって結合でき、パレート最適な圧縮と速度を実現します。

English

Neural graphics primitives are faster and achieve higher quality when their neural networks are augmented by spatial data structures that hold trainable features arranged in a grid. However, existing feature grids either come with a large memory footprint (dense or factorized grids, trees, and hash tables) or slow performance (index learning and vector quantization). In this paper, we show that a hash table with learned probes has neither disadvantage, resulting in a favorable combination of size and speed. Inference is faster than unprobed hash tables at equal quality while training is only 1.2-2.6x slower, significantly outperforming prior index learning approaches. We arrive at this formulation by casting all feature grids into a common framework: they each correspond to a lookup function that indexes into a table of feature vectors. In this framework, the lookup functions of existing data structures can be combined by simple arithmetic combinations of their indices, resulting in Pareto optimal compression and speed.

学習済みハッシュプローブを備えたコンパクトなニューラルグラフィックスプリミティブ

Compact Neural Graphics Primitives with Learned Hash Probing

要旨

Support