Primitivas Compactas de Gráficos Neuronales con Sondeo de Hash Aprendido

Compact Neural Graphics Primitives with Learned Hash Probing

December 28, 2023

Autores: Towaki Takikawa, Thomas Müller, Merlin Nimier-David, Alex Evans, Sanja Fidler, Alec Jacobson, Alexander Keller

cs.AI

Resumen

Los primitivos de gráficos neuronales son más rápidos y logran mayor calidad cuando sus redes neuronales se complementan con estructuras de datos espaciales que contienen características entrenables organizadas en una cuadrícula. Sin embargo, las cuadrículas de características existentes presentan ya sea una gran huella de memoria (cuadrículas densas o factorizadas, árboles y tablas hash) o un rendimiento lento (aprendizaje de índices y cuantización vectorial). En este artículo, demostramos que una tabla hash con sondeos aprendidos no tiene ninguna de estas desventajas, logrando una combinación favorable de tamaño y velocidad. La inferencia es más rápida que las tablas hash sin sondeo con igual calidad, mientras que el entrenamiento es solo 1.2-2.6 veces más lento, superando significativamente enfoques previos de aprendizaje de índices. Llegamos a esta formulación al enmarcar todas las cuadrículas de características en un marco común: cada una corresponde a una función de búsqueda que indexa en una tabla de vectores de características. En este marco, las funciones de búsqueda de las estructuras de datos existentes pueden combinarse mediante operaciones aritméticas simples de sus índices, logrando una compresión y velocidad óptimas en el sentido de Pareto.

English

Neural graphics primitives are faster and achieve higher quality when their neural networks are augmented by spatial data structures that hold trainable features arranged in a grid. However, existing feature grids either come with a large memory footprint (dense or factorized grids, trees, and hash tables) or slow performance (index learning and vector quantization). In this paper, we show that a hash table with learned probes has neither disadvantage, resulting in a favorable combination of size and speed. Inference is faster than unprobed hash tables at equal quality while training is only 1.2-2.6x slower, significantly outperforming prior index learning approaches. We arrive at this formulation by casting all feature grids into a common framework: they each correspond to a lookup function that indexes into a table of feature vectors. In this framework, the lookup functions of existing data structures can be combined by simple arithmetic combinations of their indices, resulting in Pareto optimal compression and speed.