Leyes de escala para la búsqueda aproximada del vecino más cercano basada en cuadrículas en altas dimensiones

Resumen

Los enfoques basados en cuadrículas para la búsqueda de vecinos más cercanos aproximados (ANN) han estado ausentes de los análisis modernos de escalado. Presentamos una caracterización sistemática de un algoritmo de cuadrícula multiprobe en función del tamaño del conjunto de datos N y la dimensionalidad d. Nuestros experimentos revelan un cruce de escalado en d previamente no reportado en la familia de embeddings GloVe, donde la búsqueda en cuadrícula multiprobe mantiene un exponente de escalado dimensional aproximadamente constante mientras que otros métodos basados en grafos, árboles y particionamiento exhiben una degradación en el rendimiento. La ventaja conlleva un escalado casi lineal de la consulta en N, pero también un menor costo de indexación en comparación con métodos ANN competidores. Nuestros resultados sugieren que los métodos basados en cuadrículas, como la cuadrícula multiprobe, pueden ser competitivos en entornos con recarga frecuente o alta dimensionalidad donde el costo de indexación y la robustez dimensional determinan el rendimiento. En un sentido más amplio, trabajos recientes han formalizado la autoatención como una operación ANN. Por lo tanto, las propiedades de escalado en N y d de los algoritmos ANN pueden guiar el análisis de costos de arquitecturas eficientes de transformadores. El código está disponible en: https://github.com/weiz345/MultiProbeANN.

English

Grid-based approaches to approximate nearest neighbor (ANN) search have been absent from modern scaling analyses. We present a systematic characterization of a multiprobe grid algorithm with respect to dataset size N and dimensionality d. Our experiments reveal a previously unreported d-scaling crossover on the GloVe embedding family, in which multiprobe grid search maintains an approximately constant dimensional scaling exponent while other graph-, tree-, and partitioning-based methods exhibit degrading throughput. The advantage comes with near-linear query scaling in N, but also with lower indexing cost than competing ANN methods. Our results suggest that grid-based methods such as multiprobe grid may be competitive in rebuild-heavy or high-dimensional settings where indexing cost and dimensional robustness dictate performance. More broadly, recent work has formalized self-attention as an ANN operation. Thus, the N- and d-scaling properties of ANN algorithms may guide cost analysis of efficient transformer architectures. Code is available at: https://github.com/weiz345/MultiProbeANN.