Компактные нейронные графические примитивы с обученным хэш-зондированием

Compact Neural Graphics Primitives with Learned Hash Probing

December 28, 2023

Авторы: Towaki Takikawa, Thomas Müller, Merlin Nimier-David, Alex Evans, Sanja Fidler, Alec Jacobson, Alexander Keller

cs.AI

Аннотация

Нейронные графические примитивы работают быстрее и достигают более высокого качества, когда их нейронные сети дополнены пространственными структурами данных, содержащими обучаемые признаки, организованные в сетку. Однако существующие сетки признаков либо требуют значительного объема памяти (плотные или факторизованные сетки, деревья и хэш-таблицы), либо отличаются низкой производительностью (обучение индексов и векторное квантование). В данной работе мы показываем, что хэш-таблица с обученными пробами лишена этих недостатков, что приводит к выгодному сочетанию размера и скорости. Вывод данных происходит быстрее, чем в хэш-таблицах без проб, при равном качестве, а обучение занимает всего в 1,2–2,6 раза больше времени, значительно превосходя предыдущие подходы к обучению индексов. Мы приходим к этой формулировке, рассматривая все сетки признаков в рамках общей структуры: каждая из них соответствует функции поиска, которая индексирует таблицу векторов признаков. В этой структуре функции поиска существующих структур данных могут быть объединены с помощью простых арифметических комбинаций их индексов, что приводит к Парето-оптимальному сжатию и скорости.

English

Neural graphics primitives are faster and achieve higher quality when their neural networks are augmented by spatial data structures that hold trainable features arranged in a grid. However, existing feature grids either come with a large memory footprint (dense or factorized grids, trees, and hash tables) or slow performance (index learning and vector quantization). In this paper, we show that a hash table with learned probes has neither disadvantage, resulting in a favorable combination of size and speed. Inference is faster than unprobed hash tables at equal quality while training is only 1.2-2.6x slower, significantly outperforming prior index learning approaches. We arrive at this formulation by casting all feature grids into a common framework: they each correspond to a lookup function that indexes into a table of feature vectors. In this framework, the lookup functions of existing data structures can be combined by simple arithmetic combinations of their indices, resulting in Pareto optimal compression and speed.