고차원에서 그리드 기반 근사 최근접 이웃 탐색을 위한 스케일링 법칙

초록

그리드 기반 근사 최근접 이웃(ANN) 검색 방식은 현대의 스케일링 분석에서 배제되어 왔다. 본 연구에서는 데이터셋 크기 N과 차원 d에 따른 멀티프로브 그리드 알고리즘의 체계적인 특성화를 제시한다. 실험 결과, GloVe 임베딩 패밀리에서 이전에 보고되지 않은 d-스케일링 교차 현상이 관찰되었으며, 멀티프로브 그리드 검색은 거의 일정한 차원 스케일링 지수를 유지하는 반면, 다른 그래프 기반, 트리 기반, 분할 기반 방법들은 처리량 저하를 보였다. 이러한 이점은 N에 대한 거의 선형적인 질의 스케일링과 함께 나타나지만, 경쟁 ANN 방법들보다 낮은 인덱싱 비용을 수반한다. 본 결과는 인덱싱 비용과 차원 강건성이 성능을 결정하는 재구축 중심 또는 고차원 설정에서 멀티프로브 그리드와 같은 그리드 기반 방법이 경쟁력을 가질 수 있음을 시사한다. 더 나아가, 최근 연구에서는 자기주의를 ANN 연산으로 정형화한 바 있다. 따라서 ANN 알고리즘의 N 및 d 스케일링 특성은 효율적인 트랜스포머 아키텍처의 비용 분석을 안내할 수 있다. 코드는 https://github.com/weiz345/MultiProbeANN에서 확인 가능하다.

English

Grid-based approaches to approximate nearest neighbor (ANN) search have been absent from modern scaling analyses. We present a systematic characterization of a multiprobe grid algorithm with respect to dataset size N and dimensionality d. Our experiments reveal a previously unreported d-scaling crossover on the GloVe embedding family, in which multiprobe grid search maintains an approximately constant dimensional scaling exponent while other graph-, tree-, and partitioning-based methods exhibit degrading throughput. The advantage comes with near-linear query scaling in N, but also with lower indexing cost than competing ANN methods. Our results suggest that grid-based methods such as multiprobe grid may be competitive in rebuild-heavy or high-dimensional settings where indexing cost and dimensional robustness dictate performance. More broadly, recent work has formalized self-attention as an ANN operation. Thus, the N- and d-scaling properties of ANN algorithms may guide cost analysis of efficient transformer architectures. Code is available at: https://github.com/weiz345/MultiProbeANN.