後期インタラクションダイナミクスに関する作業ノート：後期インタラクションモデルの対象行動分析

要旨

Late Interactionモデルは強力な検索性能を示す一方、その内部動態の多くは未解明であり、性能上のボトルネックが隠れている可能性がある。本研究では、Late Interaction検索における二つの課題に着目する：マルチベクトルスコアリング使用時に生じる長さバイアスと、MaxSim演算子による最大値プーリングを超えた類似度分布である。NanoBEIRベンチマークにおける最先端モデルのこれらの挙動を分析した。結果、因果的Late Interactionモデルの理論的な長さバイアスが実践でも確認される一方、双方向モデルも極端なケースでは同様の影響を受けることが示された。また、トップ1の文書トークンを超えた有意な類似度トレンドは存在せず、MaxSim演算子がトークンレベルの類似度スコアを効率的に活用していることが確認された。

English

While Late Interaction models exhibit strong retrieval performance, many of their underlying dynamics remain understudied, potentially hiding performance bottlenecks. In this work, we focus on two topics in Late Interaction retrieval: a length bias that arises when using multi-vector scoring, and the similarity distribution beyond the best scores pooled by the MaxSim operator. We analyze these behaviors for state-of-the-art models on the NanoBEIR benchmark. Results show that while the theoretical length bias of causal Late Interaction models holds in practice, bi-directional models can also suffer from it in extreme cases. We also note that no significant similarity trend lies beyond the top-1 document token, validating that the MaxSim operator efficiently exploits the token-level similarity scores.

後期インタラクションダイナミクスに関する作業ノート：後期インタラクションモデルの対象行動分析

Working Notes on Late Interaction Dynamics: Analyzing Targeted Behaviors of Late Interaction Models

要旨

Support