Quantification et expansion de la capacité théorique des modèles de recherche à interaction tardive

Résumé

Les modèles de recherche à interaction tardive utilisant la fonction de similarité MaxSim ont démontré des performances empiriques solides, surpassant souvent les modèles de recherche denses et parcimonieux à vecteur unique. Malgré ces résultats empiriques, on sait peu de choses sur la puissance de représentation théorique de MaxSim et sur la façon dont elle se compare à d'autres approches de recherche. Cet article montre par construction que la similarité MaxSim peut reproduire exactement le produit scalaire entre deux vecteurs k-creux non négatifs de dimension éventuellement infinie, en ne nécessitant qu'un espace de représentation O(k). De plus, il existe des similarités que MaxSim peut exprimer alors que les produits scalaires vectoriels standard utilisant le même espace de représentation ne le peuvent pas. En exploitant notre cadre théorique, nous introduisons MaxSim signé, qui permet aux modèles à interaction tardive de reproduire exactement tout produit scalaire à valeurs réelles, ce dont MaxSim standard est incapable, comme nous le démontrons. Nous montrons également que MaxSim peut agir comme une agrégation d'opérations OU flou et comme un évaluateur d'expressions logiques en forme normale conjonctive positive. Nos résultats montrent que MaxSim est au moins aussi capable que les produits scalaires vectoriels standard pour tout vecteur non négatif, et notre extension, MaxSim signé, est aussi capable pour tout vecteur. Les deux similarités possèdent des capacités supplémentaires que le produit scalaire ne peut reproduire, ce qui constitue l'une des premières justifications et quantifications théoriques des méthodes à interaction tardive. Nos résultats théoriques sont soutenus empiriquement : sur une tâche de recherche comportant des requêtes avec négations, MaxSim signé améliore significativement les performances hors domaine par rapport à une base de référence standard ColBERT/MaxSim, avec un nDCG@10 passant de 0,597 à 1,000 sous un changement de vocabulaire et de 0,008 à 0,788 sur les requêtes uniquement négatives.

English

Late-interaction retrieval models that use the MaxSim similarity function have shown strong empirical performance, often outperforming single-vector dense and sparse retrieval models. Despite these empirical findings, little is known about the theoretical representation power of MaxSim and how it compares to other retrieval approaches. This paper shows by construction that MaxSim similarity can exactly replicate the inner product between any two non-negative k-sparse vectors with possibly infinite dimension, requiring only O(k) representation space. Moreover, there exist similarities that MaxSim can express while standard vector inner products with the same representation space cannot. Leveraging our theoretical framework, we introduce Signed MaxSim which allows late-interaction models to exactly replicate any real-valued inner product, something we prove standard MaxSim is not capable of. We also show that MaxSim can act as an aggregation of soft-OR operations and as an evaluator of logical expressions in positive Conjunctive Normal Form. Our findings show that MaxSim is at least as capable as standard vector inner products for any non-negative vectors and our extension, Signed MaxSim, is as capable for any vectors. Both similarities possess additional capabilities that inner product cannot replicate, marking one of the first theoretical justifications and quantifications of late-interaction methods. Our theoretical findings are supported empirically: on a retrieval task featuring queries with negations, Signed MaxSim improves out-of-domain performance significantly over a standard ColBERT/MaxSim baseline with nDCG@10 increasing from 0.597 to 1.000 under a vocabulary shift and from 0.008 to 0.788 on negation-only queries.