Законы масштабирования для сеточного приближенного поиска ближайшего соседа в многомерных пространствах

Аннотация

Подходы на основе решеток к поиску приблизительного ближайшего соседа (ANN) отсутствовали в современных анализах масштабирования. Мы представляем систематическую характеристику многозондового решетчатого алгоритма в зависимости от размера набора данных N и размерности d. Наши эксперименты выявляют ранее не описанный кроссовер по масштабированию размерности на семействе эмбеддингов GloVe, при котором многозондовый решетчатый поиск сохраняет приблизительно постоянный показатель масштабирования по размерности, в то время как другие методы на основе графов, деревьев и разбиений демонстрируют ухудшающуюся пропускную способность. Преимущество заключается в почти линейном масштабировании запросов по N, а также в более низкой стоимости индексации по сравнению с конкурирующими методами ANN. Наши результаты показывают, что методы на основе решеток, такие как многозондовый решетчатый, могут быть конкурентоспособными в условиях интенсивного перестроения или высокой размерности, где стоимость индексации и устойчивость к размерности определяют производительность. В более широком смысле, недавние работы формализовали самовнимание как операцию ANN. Таким образом, свойства масштабирования по N и d алгоритмов ANN могут направлять анализ стоимости эффективных архитектур трансформеров. Код доступен по адресу: https://github.com/weiz345/MultiProbeANN.

English

Grid-based approaches to approximate nearest neighbor (ANN) search have been absent from modern scaling analyses. We present a systematic characterization of a multiprobe grid algorithm with respect to dataset size N and dimensionality d. Our experiments reveal a previously unreported d-scaling crossover on the GloVe embedding family, in which multiprobe grid search maintains an approximately constant dimensional scaling exponent while other graph-, tree-, and partitioning-based methods exhibit degrading throughput. The advantage comes with near-linear query scaling in N, but also with lower indexing cost than competing ANN methods. Our results suggest that grid-based methods such as multiprobe grid may be competitive in rebuild-heavy or high-dimensional settings where indexing cost and dimensional robustness dictate performance. More broadly, recent work has formalized self-attention as an ANN operation. Thus, the N- and d-scaling properties of ANN algorithms may guide cost analysis of efficient transformer architectures. Code is available at: https://github.com/weiz345/MultiProbeANN.