Primitifs de graphismes neuronaux compacts avec sondage de hachage appris

Compact Neural Graphics Primitives with Learned Hash Probing

December 28, 2023

Auteurs: Towaki Takikawa, Thomas Müller, Merlin Nimier-David, Alex Evans, Sanja Fidler, Alec Jacobson, Alexander Keller

cs.AI

Résumé

Les primitives graphiques neuronales sont plus rapides et atteignent une qualité supérieure lorsque leurs réseaux neuronaux sont augmentés par des structures de données spatiales contenant des caractéristiques entraînables organisées en grille. Cependant, les grilles de caractéristiques existantes ont soit une empreinte mémoire importante (grilles denses ou factorisées, arbres et tables de hachage), soit des performances lentes (apprentissage d'index et quantification vectorielle). Dans cet article, nous montrons qu'une table de hachage avec sondes apprises ne présente aucun de ces inconvénients, offrant ainsi une combinaison favorable de taille et de vitesse. L'inférence est plus rapide que les tables de hachage sans sondes pour une qualité égale, tandis que l'entraînement est seulement 1,2 à 2,6 fois plus lent, surpassant significativement les approches précédentes d'apprentissage d'index. Nous parvenons à cette formulation en intégrant toutes les grilles de caractéristiques dans un cadre commun : chacune correspond à une fonction de recherche qui indexe une table de vecteurs de caractéristiques. Dans ce cadre, les fonctions de recherche des structures de données existantes peuvent être combinées par des opérations arithmétiques simples sur leurs indices, aboutissant à une compression et une vitesse Pareto optimales.

English

Neural graphics primitives are faster and achieve higher quality when their neural networks are augmented by spatial data structures that hold trainable features arranged in a grid. However, existing feature grids either come with a large memory footprint (dense or factorized grids, trees, and hash tables) or slow performance (index learning and vector quantization). In this paper, we show that a hash table with learned probes has neither disadvantage, resulting in a favorable combination of size and speed. Inference is faster than unprobed hash tables at equal quality while training is only 1.2-2.6x slower, significantly outperforming prior index learning approaches. We arrive at this formulation by casting all feature grids into a common framework: they each correspond to a lookup function that indexes into a table of feature vectors. In this framework, the lookup functions of existing data structures can be combined by simple arithmetic combinations of their indices, resulting in Pareto optimal compression and speed.