Primitive Neurali Compatti per la Grafica con Hashing Appreso

Compact Neural Graphics Primitives with Learned Hash Probing

December 28, 2023

Autori: Towaki Takikawa, Thomas Müller, Merlin Nimier-David, Alex Evans, Sanja Fidler, Alec Jacobson, Alexander Keller

cs.AI

Abstract

I primitivi neurali per la grafica sono più veloci e raggiungono una qualità superiore quando le loro reti neurali sono potenziate da strutture dati spaziali che contengono feature addestrabili disposte in una griglia. Tuttavia, le griglie di feature esistenti comportano o un elevato consumo di memoria (griglie dense o fattorizzate, alberi e tabelle hash) o prestazioni lente (apprendimento degli indici e quantizzazione vettoriale). In questo articolo, dimostriamo che una tabella hash con sonde apprese non presenta nessuno di questi svantaggi, ottenendo una combinazione favorevole di dimensioni e velocità. L'inferenza è più veloce rispetto alle tabelle hash senza sonde a parità di qualità, mentre l'addestramento è solo 1,2-2,6 volte più lento, superando significativamente gli approcci precedenti di apprendimento degli indici. Arriviamo a questa formulazione inquadrando tutte le griglie di feature in un framework comune: ciascuna corrisponde a una funzione di lookup che indicizza una tabella di vettori di feature. In questo framework, le funzioni di lookup delle strutture dati esistenti possono essere combinate attraverso semplici operazioni aritmetiche sui loro indici, ottenendo una compressione e una velocità Pareto-ottimali.

English

Neural graphics primitives are faster and achieve higher quality when their neural networks are augmented by spatial data structures that hold trainable features arranged in a grid. However, existing feature grids either come with a large memory footprint (dense or factorized grids, trees, and hash tables) or slow performance (index learning and vector quantization). In this paper, we show that a hash table with learned probes has neither disadvantage, resulting in a favorable combination of size and speed. Inference is faster than unprobed hash tables at equal quality while training is only 1.2-2.6x slower, significantly outperforming prior index learning approaches. We arrive at this formulation by casting all feature grids into a common framework: they each correspond to a lookup function that indexes into a table of feature vectors. In this framework, the lookup functions of existing data structures can be combined by simple arithmetic combinations of their indices, resulting in Pareto optimal compression and speed.