Primitivas Compactas de Gráficos Neurais com Sondagem de Hash Aprendida

Compact Neural Graphics Primitives with Learned Hash Probing

December 28, 2023

Autores: Towaki Takikawa, Thomas Müller, Merlin Nimier-David, Alex Evans, Sanja Fidler, Alec Jacobson, Alexander Keller

cs.AI

Resumo

Primitivas gráficas neurais são mais rápidas e alcançam maior qualidade quando suas redes neurais são aprimoradas por estruturas de dados espaciais que armazenam características treináveis organizadas em uma grade. No entanto, as grades de características existentes ou possuem uma grande pegada de memória (grades densas ou fatoradas, árvores e tabelas de hash) ou desempenho lento (aprendizado de índices e quantização vetorial). Neste artigo, mostramos que uma tabela de hash com sondas aprendidas não possui nenhuma dessas desvantagens, resultando em uma combinação favorável de tamanho e velocidade. A inferência é mais rápida do que tabelas de hash sem sondas com qualidade igual, enquanto o treinamento é apenas 1,2-2,6x mais lento, superando significativamente as abordagens anteriores de aprendizado de índices. Chegamos a essa formulação ao enquadrar todas as grades de características em um framework comum: cada uma corresponde a uma função de consulta que indexa uma tabela de vetores de características. Nesse framework, as funções de consulta das estruturas de dados existentes podem ser combinadas por meio de combinações aritméticas simples de seus índices, resultando em compressão e velocidade Pareto-ótimas.

English

Neural graphics primitives are faster and achieve higher quality when their neural networks are augmented by spatial data structures that hold trainable features arranged in a grid. However, existing feature grids either come with a large memory footprint (dense or factorized grids, trees, and hash tables) or slow performance (index learning and vector quantization). In this paper, we show that a hash table with learned probes has neither disadvantage, resulting in a favorable combination of size and speed. Inference is faster than unprobed hash tables at equal quality while training is only 1.2-2.6x slower, significantly outperforming prior index learning approaches. We arrive at this formulation by casting all feature grids into a common framework: they each correspond to a lookup function that indexes into a table of feature vectors. In this framework, the lookup functions of existing data structures can be combined by simple arithmetic combinations of their indices, resulting in Pareto optimal compression and speed.