後期相互作用検索モデルの理論的容量の定量化と拡張

要旨

MaxSim類似度関数を用いた後期相互作用検索モデルは、強い実証的性能を示し、単一ベクトル密検索モデルやスパース検索モデルをしばしば凌駕している。しかし、これらの実証的知見にもかかわらず、MaxSimの理論的な表現力や他の検索手法との比較についてはほとんど解明されていない。本論文では、MaxSim類似度が、任意の非負のk-スパースベクトル（次元は無限大でも可）間の内積を、わずかO(k)の表現空間で正確に再現できることを、構成的に示す。さらに、MaxSimが表現可能である一方で、同じ表現空間を持つ標準的なベクトル内積では表現できない類似度が存在することも明らかにする。我々の理論的枠組みを活用し、Signed MaxSimを導入する。これは、後期相互作用モデルが任意の実数値内積を正確に再現できるようにするものであり、標準的なMaxSimではそれが不可能であることを証明する。また、MaxSimがソフトOR演算の集約として機能し、正の連言標準形（positive Conjunctive Normal Form）における論理式の評価器としても機能することを示す。これらの知見は、MaxSimが任意の非負ベクトルに対して標準的なベクトル内積と少なくとも同等の能力を持つこと、そして我々の拡張であるSigned MaxSimは任意のベクトルに対して同等の能力を持つことを示している。両類似度は内積では再現できない追加の能力も備えており、これは後期相互作用手法に関する初の理論的正当化と定量化の一つとなる。我々の理論的発見は実証的にも裏付けられている。否定を含むクエリを特徴とする検索タスクにおいて、Signed MaxSimは標準的なColBERT/MaxSimベースラインと比較して、ドメイン外性能を大幅に改善し、語彙シフト下ではnDCG@10が0.597から1.000に、否定のみのクエリでは0.008から0.788に向上した。

English

Late-interaction retrieval models that use the MaxSim similarity function have shown strong empirical performance, often outperforming single-vector dense and sparse retrieval models. Despite these empirical findings, little is known about the theoretical representation power of MaxSim and how it compares to other retrieval approaches. This paper shows by construction that MaxSim similarity can exactly replicate the inner product between any two non-negative k-sparse vectors with possibly infinite dimension, requiring only O(k) representation space. Moreover, there exist similarities that MaxSim can express while standard vector inner products with the same representation space cannot. Leveraging our theoretical framework, we introduce Signed MaxSim which allows late-interaction models to exactly replicate any real-valued inner product, something we prove standard MaxSim is not capable of. We also show that MaxSim can act as an aggregation of soft-OR operations and as an evaluator of logical expressions in positive Conjunctive Normal Form. Our findings show that MaxSim is at least as capable as standard vector inner products for any non-negative vectors and our extension, Signed MaxSim, is as capable for any vectors. Both similarities possess additional capabilities that inner product cannot replicate, marking one of the first theoretical justifications and quantifications of late-interaction methods. Our theoretical findings are supported empirically: on a retrieval task featuring queries with negations, Signed MaxSim improves out-of-domain performance significantly over a standard ColBERT/MaxSim baseline with nDCG@10 increasing from 0.597 to 1.000 under a vocabulary shift and from 0.008 to 0.788 on negation-only queries.