Quantifizierung und Erweiterung der theoretischen Kapazität von Late-Interaction-Retrieval-Modellen

Zusammenfassung

Spätinteraktions-Retrievalmodelle, die die MaxSim-Ähnlichkeitsfunktion verwenden, haben eine starke empirische Leistung gezeigt und übertreffen oft Einzelvektor-dichte und dünnbesetzte Retrievalmodelle. Trotz dieser empirischen Befunde ist wenig über die theoretische Darstellungsfähigkeit von MaxSim und deren Vergleich zu anderen Retrievalansätzen bekannt. Diese Arbeit zeigt konstruktiv, dass die MaxSim-Ähnlichkeit das innere Produkt zwischen zwei nicht-negativen k-dünnbesetzten Vektoren mit möglicherweise unendlicher Dimension exakt replizieren kann, wobei nur O(k) Darstellungsraum benötigt wird. Darüber hinaus gibt es Ähnlichkeiten, die MaxSim ausdrücken kann, während standardmäßige Vektor-Innenprodukte mit demselben Darstellungsraum dies nicht können. Aufbauend auf unserem theoretischen Rahmen führen wir Signed MaxSim ein, das es Spätinteraktionsmodellen ermöglicht, jedes reellwertige innere Produkt exakt zu replizieren, was – wie wir beweisen – mit dem standardmäßigen MaxSim nicht möglich ist. Wir zeigen auch, dass MaxSim als Aggregation von Soft-ODER-Operationen und als Auswerter logischer Ausdrücke in positiver konjunktiver Normalform fungieren kann. Unsere Ergebnisse zeigen, dass MaxSim für beliebige nicht-negative Vektoren mindestens so leistungsfähig ist wie standardmäßige Vektor-Innenprodukte und unsere Erweiterung, Signed MaxSim, für beliebige Vektoren ebenso leistungsfähig ist. Beide Ähnlichkeiten besitzen zusätzliche Fähigkeiten, die das innere Produkt nicht replizieren kann, was eine der ersten theoretischen Rechtfertigungen und Quantifizierungen von Spätinteraktionsmethoden darstellt. Unsere theoretischen Ergebnisse werden empirisch gestützt: Bei einer Retrieval-Aufgabe mit Negationen enthaltenden Abfragen verbessert Signed MaxSim die Leistung außerhalb des Anwendungsbereichs (out-of-domain) signifikant im Vergleich zu einer Standard-ColBERT/MaxSim-Baseline, wobei der nDCG@10 unter einer Vokabularverschiebung von 0,597 auf 1,000 und bei nur Negationen enthaltenden Abfragen von 0,008 auf 0,788 ansteigt.

English

Late-interaction retrieval models that use the MaxSim similarity function have shown strong empirical performance, often outperforming single-vector dense and sparse retrieval models. Despite these empirical findings, little is known about the theoretical representation power of MaxSim and how it compares to other retrieval approaches. This paper shows by construction that MaxSim similarity can exactly replicate the inner product between any two non-negative k-sparse vectors with possibly infinite dimension, requiring only O(k) representation space. Moreover, there exist similarities that MaxSim can express while standard vector inner products with the same representation space cannot. Leveraging our theoretical framework, we introduce Signed MaxSim which allows late-interaction models to exactly replicate any real-valued inner product, something we prove standard MaxSim is not capable of. We also show that MaxSim can act as an aggregation of soft-OR operations and as an evaluator of logical expressions in positive Conjunctive Normal Form. Our findings show that MaxSim is at least as capable as standard vector inner products for any non-negative vectors and our extension, Signed MaxSim, is as capable for any vectors. Both similarities possess additional capabilities that inner product cannot replicate, marking one of the first theoretical justifications and quantifications of late-interaction methods. Our theoretical findings are supported empirically: on a retrieval task featuring queries with negations, Signed MaxSim improves out-of-domain performance significantly over a standard ColBERT/MaxSim baseline with nDCG@10 increasing from 0.597 to 1.000 under a vocabulary shift and from 0.008 to 0.788 on negation-only queries.