Skalierungsgesetze für die gitterbasierte approximative Nächste-Nachbarn-Suche in hohen Dimensionen

Zusammenfassung

Gitterbasierte Ansätze für die approximative nächste-Nachbarn-Suche (ANN) wurden in modernen Skalierungsanalysen bislang vernachlässigt. Wir präsentieren eine systematische Charakterisierung eines Multiprobe-Grid-Algorithmus in Abhängigkeit von der Datensatzgröße N und der Dimensionalität d. Unsere Experimente zeigen einen bisher nicht berichteten d-Skalierungs-Crossover in der GloVe-Embedding-Familie, bei dem die Multiprobe-Gitter-Suche einen annähernd konstanten dimensionalen Skalierungsexponenten beibehält, während andere Graphen-, Baum- und partitionsbasierte Methoden einen abnehmenden Durchsatz aufweisen. Der Vorteil liegt in einer nahezu linearen Abfrageskalierung mit N, jedoch auch in geringeren Indexierungskosten im Vergleich zu konkurrierenden ANN-Verfahren. Unsere Ergebnisse deuten darauf hin, dass gitterbasierte Methoden wie die Multiprobe-Gitter-Suche in wiederaufbauintensiven oder hochdimensionalen Umgebungen wettbewerbsfähig sein könnten, wo Indexierungskosten und dimensionale Robustheit die Leistung bestimmen. Weitergehend wurde in aktuellen Arbeiten Self-Attention als ANN-Operation formalisiert. Somit könnten die N- und d-Skalierungseigenschaften von ANN-Algorithmen die Kostenanalyse effizienter Transformer-Architekturen leiten. Der Code ist verfügbar unter: https://github.com/weiz345/MultiProbeANN.

English

Grid-based approaches to approximate nearest neighbor (ANN) search have been absent from modern scaling analyses. We present a systematic characterization of a multiprobe grid algorithm with respect to dataset size N and dimensionality d. Our experiments reveal a previously unreported d-scaling crossover on the GloVe embedding family, in which multiprobe grid search maintains an approximately constant dimensional scaling exponent while other graph-, tree-, and partitioning-based methods exhibit degrading throughput. The advantage comes with near-linear query scaling in N, but also with lower indexing cost than competing ANN methods. Our results suggest that grid-based methods such as multiprobe grid may be competitive in rebuild-heavy or high-dimensional settings where indexing cost and dimensional robustness dictate performance. More broadly, recent work has formalized self-attention as an ANN operation. Thus, the N- and d-scaling properties of ANN algorithms may guide cost analysis of efficient transformer architectures. Code is available at: https://github.com/weiz345/MultiProbeANN.