Lois d'échelle pour la recherche approximative du plus proche voisin basée sur une grille en haute dimension

Résumé

Les approches basées sur la grille pour la recherche du plus proche voisin approximatif (ANN) sont absentes des analyses d'échelle modernes. Nous présentons une caractérisation systématique d'un algorithme de grille multiprobe en fonction de la taille du jeu de données N et de la dimensionnalité d. Nos expériences révèlent un croisement d'échelle dimensionnelle (d-scaling crossover) jusqu'alors non rapporté dans la famille d'embeddings GloVe, où la recherche par grille multiprobe maintient un exposant d'échelle dimensionnelle approximativement constant tandis que d'autres méthodes basées sur les graphes, les arbres et le partitionnement présentent un débit dégradé. L'avantage s'accompagne d'une mise à l'échelle quasi linéaire des requêtes en N, mais aussi d'un coût d'indexation inférieur à celui des autres méthodes ANN concurrentes. Nos résultats suggèrent que les méthodes basées sur la grille, telles que la grille multiprobe, pourraient être compétitives dans des contextes où la réindexation est fréquente ou dans des configurations de haute dimensionnalité, où le coût d'indexation et la robustesse dimensionnelle dictent les performances. Plus largement, des travaux récents ont formalisé l'auto-attention comme une opération ANN. Ainsi, les propriétés de mise à l'échelle en N et d des algorithmes ANN peuvent guider l'analyse des coûts des architectures de transformeurs efficaces. Le code est disponible à l'adresse : https://github.com/weiz345/MultiProbeANN.

English

Grid-based approaches to approximate nearest neighbor (ANN) search have been absent from modern scaling analyses. We present a systematic characterization of a multiprobe grid algorithm with respect to dataset size N and dimensionality d. Our experiments reveal a previously unreported d-scaling crossover on the GloVe embedding family, in which multiprobe grid search maintains an approximately constant dimensional scaling exponent while other graph-, tree-, and partitioning-based methods exhibit degrading throughput. The advantage comes with near-linear query scaling in N, but also with lower indexing cost than competing ANN methods. Our results suggest that grid-based methods such as multiprobe grid may be competitive in rebuild-heavy or high-dimensional settings where indexing cost and dimensional robustness dictate performance. More broadly, recent work has formalized self-attention as an ANN operation. Thus, the N- and d-scaling properties of ANN algorithms may guide cost analysis of efficient transformer architectures. Code is available at: https://github.com/weiz345/MultiProbeANN.