지연 상호작용 검색 모델의 이론적 용량 정량화 및 확장

초록

MaxSim 유사도 함수를 사용하는 후기 상호작용 검색 모델은 단일 벡터 밀집 검색 모델이나 희소 검색 모델을 종종 능가하는 강력한 경험적 성능을 보여주었다. 이러한 경험적 발견에도 불구하고, MaxSim의 이론적 표현력과 이것이 다른 검색 접근법과 어떻게 비교되는지에 대해서는 거의 알려져 있지 않다. 본 논문은 구성적 증명을 통해 MaxSim 유사도가 잠재적으로 무한한 차원을 가진 임의의 두 개의 음이 아닌 k-희소 벡터 간의 내적을 정확히 복제할 수 있으며, 오직 O(k)의 표현 공간만을 필요로 함을 보여준다. 더욱이, MaxSim이 표현할 수 있는 유사성이 존재하는 반면, 동일한 표현 공간을 가진 표준 벡터 내적은 이를 표현할 수 없다. 우리의 이론적 프레임워크를 활용하여, 우리는 후기 상호작용 모델이 임의의 실수 값 내적을 정확히 복제할 수 있도록 하는 부호 있는 MaxSim(Signed MaxSim)을 소개하며, 이는 표준 MaxSim으로는 불가능함을 증명한다. 또한 MaxSim이 소프트 OR 연산의 집합체로 작용할 수 있으며, 양의 연언 정규형(positive Conjunctive Normal Form)의 논리식 평가자로 기능할 수 있음을 보여준다. 우리의 발견은 MaxSim이 임의의 음이 아닌 벡터에 대해 표준 벡터 내적만큼의 능력을 가지며, 우리의 확장인 부호 있는 MaxSim은 임의의 벡터에 대해 그와 동등한 능력을 가짐을 보여준다. 두 유사도 모두 내적이 복제할 수 없는 추가적인 능력을 지니며, 이는 후기 상호작용 방법에 대한 최초의 이론적 정당화 및 정량화 중 하나에 해당한다. 우리의 이론적 발견은 경험적으로 뒷받침된다: 부정어를 포함한 질의가 있는 검색 작업에서, 부호 있는 MaxSim은 표준 ColBERT/MaxSim 기준선 대비 도메인 외 성능을 크게 향상시켰으며, 어휘 이동 하에서 nDCG@10이 0.597에서 1.000으로 증가했고, 부정어 전용 질의에 대해서는 0.008에서 0.788로 증가했다.

English

Late-interaction retrieval models that use the MaxSim similarity function have shown strong empirical performance, often outperforming single-vector dense and sparse retrieval models. Despite these empirical findings, little is known about the theoretical representation power of MaxSim and how it compares to other retrieval approaches. This paper shows by construction that MaxSim similarity can exactly replicate the inner product between any two non-negative k-sparse vectors with possibly infinite dimension, requiring only O(k) representation space. Moreover, there exist similarities that MaxSim can express while standard vector inner products with the same representation space cannot. Leveraging our theoretical framework, we introduce Signed MaxSim which allows late-interaction models to exactly replicate any real-valued inner product, something we prove standard MaxSim is not capable of. We also show that MaxSim can act as an aggregation of soft-OR operations and as an evaluator of logical expressions in positive Conjunctive Normal Form. Our findings show that MaxSim is at least as capable as standard vector inner products for any non-negative vectors and our extension, Signed MaxSim, is as capable for any vectors. Both similarities possess additional capabilities that inner product cannot replicate, marking one of the first theoretical justifications and quantifications of late-interaction methods. Our theoretical findings are supported empirically: on a retrieval task featuring queries with negations, Signed MaxSim improves out-of-domain performance significantly over a standard ColBERT/MaxSim baseline with nDCG@10 increasing from 0.597 to 1.000 under a vocabulary shift and from 0.008 to 0.788 on negation-only queries.