Kompakte neuronale Grafikprimitive mit gelerntem Hash-Probieren

Compact Neural Graphics Primitives with Learned Hash Probing

December 28, 2023

Autoren: Towaki Takikawa, Thomas Müller, Merlin Nimier-David, Alex Evans, Sanja Fidler, Alec Jacobson, Alexander Keller

cs.AI

Zusammenfassung

Neurale Grafikprimitive sind schneller und erreichen eine höhere Qualität, wenn ihre neuronalen Netze durch räumliche Datenstrukturen erweitert werden, die trainierbare Merkmale in einem Gitter anordnen. Bestehende Merkmalsgitter haben jedoch entweder einen großen Speicherbedarf (dichte oder faktorisierte Gitter, Bäume und Hash-Tabellen) oder eine langsame Leistung (Index-Lernen und Vektorquantisierung). In diesem Artikel zeigen wir, dass eine Hash-Tabelle mit gelernten Sonden keine dieser Nachteile aufweist und somit eine vorteilhafte Kombination aus Größe und Geschwindigkeit bietet. Die Inferenz ist schneller als bei Hash-Tabellen ohne Sonden bei gleicher Qualität, während das Training nur 1,2-2,6x langsamer ist und damit bestehende Ansätze des Index-Lernens deutlich übertrifft. Wir gelangen zu dieser Formulierung, indem wir alle Merkmalsgitter in einen gemeinsamen Rahmen einordnen: Sie entsprechen jeweils einer Lookup-Funktion, die in eine Tabelle von Merkmalsvektoren indiziert. In diesem Rahmen können die Lookup-Funktionen bestehender Datenstrukturen durch einfache arithmetische Kombinationen ihrer Indizes kombiniert werden, was zu einer Pareto-optimalen Kompression und Geschwindigkeit führt.

English

Neural graphics primitives are faster and achieve higher quality when their neural networks are augmented by spatial data structures that hold trainable features arranged in a grid. However, existing feature grids either come with a large memory footprint (dense or factorized grids, trees, and hash tables) or slow performance (index learning and vector quantization). In this paper, we show that a hash table with learned probes has neither disadvantage, resulting in a favorable combination of size and speed. Inference is faster than unprobed hash tables at equal quality while training is only 1.2-2.6x slower, significantly outperforming prior index learning approaches. We arrive at this formulation by casting all feature grids into a common framework: they each correspond to a lookup function that indexes into a table of feature vectors. In this framework, the lookup functions of existing data structures can be combined by simple arithmetic combinations of their indices, resulting in Pareto optimal compression and speed.