Leis de Escala para Busca Aproximada do Vizinho Mais Próximo Baseada em Grade em Altas Dimensões

Resumo

Abordagens baseadas em grade para busca aproximada do vizinho mais próximo (ANN) têm estado ausentes das análises modernas de escalonamento. Apresentamos uma caracterização sistemática de um algoritmo de grade multiprobe com relação ao tamanho do conjunto de dados N e à dimensionalidade d. Nossos experimentos revelam um crossover de escalonamento em d anteriormente não reportado na família de embeddings GloVe, no qual a busca em grade multiprobe mantém um expoente de escalonamento dimensional aproximadamente constante, enquanto outros métodos baseados em grafos, árvores e particionamento apresentam degradação na taxa de transferência. A vantagem vem com escalonamento de consulta quase linear em N, mas também com menor custo de indexação do que métodos ANN concorrentes. Nossos resultados sugerem que métodos baseados em grade, como a grade multiprobe, podem ser competitivos em cenários com alta frequência de reconstrução ou em alta dimensionalidade, onde o custo de indexação e a robustez dimensional determinam o desempenho. De forma mais ampla, trabalhos recentes formalizaram a autoatenção como uma operação ANN. Assim, as propriedades de escalonamento em N e d dos algoritmos ANN podem orientar a análise de custo de arquiteturas eficientes de transformers. O código está disponível em: https://github.com/weiz345/MultiProbeANN.

English

Grid-based approaches to approximate nearest neighbor (ANN) search have been absent from modern scaling analyses. We present a systematic characterization of a multiprobe grid algorithm with respect to dataset size N and dimensionality d. Our experiments reveal a previously unreported d-scaling crossover on the GloVe embedding family, in which multiprobe grid search maintains an approximately constant dimensional scaling exponent while other graph-, tree-, and partitioning-based methods exhibit degrading throughput. The advantage comes with near-linear query scaling in N, but also with lower indexing cost than competing ANN methods. Our results suggest that grid-based methods such as multiprobe grid may be competitive in rebuild-heavy or high-dimensional settings where indexing cost and dimensional robustness dictate performance. More broadly, recent work has formalized self-attention as an ANN operation. Thus, the N- and d-scaling properties of ANN algorithms may guide cost analysis of efficient transformer architectures. Code is available at: https://github.com/weiz345/MultiProbeANN.