高次元におけるグリッドベース近似最近傍探索のスケーリング則

要旨

近似的最近傍探索（ANN）に対する格子ベースのアプローチは、近年のスケーリング解析では見過ごされてきた。本論文では、データセットサイズNと次元数dに関して、マルチプローブ格子アルゴリズムの体系的な特性評価を行う。実験により、GloVe埋め込みファミリーにおいて、これまで報告されていなかったdスケーリングのクロスオーバーが明らかになった。このクロスオーバーでは、マルチプローブ格子探索がほぼ一定の次元スケーリング指数を維持する一方で、他のグラフベース、木ベース、分割ベースの手法はスループットが低下する。この利点は、Nに対するほぼ線形なクエリスケーリングに伴うが、競合するANN手法と比較してインデックス構築コストも低い。この結果は、マルチプローブ格子のような格子ベースの手法が、インデックス構築コストと次元に対するロバスト性が性能を左右する、再構築負荷が高い設定や高次元設定において競争力を持つ可能性を示唆している。さらに広範には、近年の研究で自己注意機構がANN操作として定式化されている。したがって、ANNアルゴリズムのNスケーリングとdスケーリングの特性は、効率的なトランスフォーマーアーキテクチャのコスト解析の指針となり得る。コードはhttps://github.com/weiz345/MultiProbeANNで公開されている。

English

Grid-based approaches to approximate nearest neighbor (ANN) search have been absent from modern scaling analyses. We present a systematic characterization of a multiprobe grid algorithm with respect to dataset size N and dimensionality d. Our experiments reveal a previously unreported d-scaling crossover on the GloVe embedding family, in which multiprobe grid search maintains an approximately constant dimensional scaling exponent while other graph-, tree-, and partitioning-based methods exhibit degrading throughput. The advantage comes with near-linear query scaling in N, but also with lower indexing cost than competing ANN methods. Our results suggest that grid-based methods such as multiprobe grid may be competitive in rebuild-heavy or high-dimensional settings where indexing cost and dimensional robustness dictate performance. More broadly, recent work has formalized self-attention as an ANN operation. Thus, the N- and d-scaling properties of ANN algorithms may guide cost analysis of efficient transformer architectures. Code is available at: https://github.com/weiz345/MultiProbeANN.