Kwantificeren en uitbreiden van de theoretische capaciteit van laat-interactie retrievalmodellen

Samenvatting

Late-interactie retrievalsmodellen die gebruikmaken van de MaxSim-gelijkenisfunctie hebben sterke empirische prestaties laten zien, waarbij ze vaak beter presteren dan enkel-vector dichte en schaarse retrievalsmodellen. Ondanks deze empirische bevindingen is er weinig bekend over de theoretische representatiekracht van MaxSim en hoe deze zich verhoudt tot andere retrievalbenaderingen. Dit artikel toont door constructie aan dat MaxSim-gelijkenis exact het inwendige product kan repliceren tussen twee niet-negatieve k-schaarse vectoren met mogelijk oneindige dimensie, daarbij slechts O(k) representatieruimte nodig hebbend. Bovendien bestaan er gelijkenissen die MaxSim kan uitdrukken terwijl standaard vectorinwendige producten met dezelfde representatieruimte dat niet kunnen. Gebruikmakend van ons theoretisch kader introduceren we Signed MaxSim, waarmee late-interactiemodellen exact elk reëelwaardig inwendig product kunnen repliceren, iets waarvan we bewijzen dat standaard MaxSim daartoe niet in staat is. We tonen ook aan dat MaxSim kan fungeren als een aggregatie van soft-OR-operaties en als een evaluator van logische uitdrukkingen in positieve Conjunctieve Normaalvorm. Onze bevindingen tonen aan dat MaxSim minstens zo capabel is als standaard vectorinwendige producten voor alle niet-negatieve vectoren, en onze uitbreiding, Signed MaxSim, is even capabel voor alle vectoren. Beide gelijkenissen bezitten extra mogelijkheden die het inwendige product niet kan repliceren, wat een van de eerste theoretische rechtvaardigingen en kwantificeringen van late-interactiemethoden markeert. Onze theoretische bevindingen worden empirisch ondersteund: in een retrievaltaak met queries die ontkenningen bevatten, verbetert Signed MaxSim de out-of-domain-prestaties significant ten opzichte van een standaard ColBERT/MaxSim-baseline, waarbij nDCG@10 stijgt van 0,597 naar 1,000 onder een vocabulaireverschuiving en van 0,008 naar 0,788 bij alleen-ontkenningsqueries.

English

Late-interaction retrieval models that use the MaxSim similarity function have shown strong empirical performance, often outperforming single-vector dense and sparse retrieval models. Despite these empirical findings, little is known about the theoretical representation power of MaxSim and how it compares to other retrieval approaches. This paper shows by construction that MaxSim similarity can exactly replicate the inner product between any two non-negative k-sparse vectors with possibly infinite dimension, requiring only O(k) representation space. Moreover, there exist similarities that MaxSim can express while standard vector inner products with the same representation space cannot. Leveraging our theoretical framework, we introduce Signed MaxSim which allows late-interaction models to exactly replicate any real-valued inner product, something we prove standard MaxSim is not capable of. We also show that MaxSim can act as an aggregation of soft-OR operations and as an evaluator of logical expressions in positive Conjunctive Normal Form. Our findings show that MaxSim is at least as capable as standard vector inner products for any non-negative vectors and our extension, Signed MaxSim, is as capable for any vectors. Both similarities possess additional capabilities that inner product cannot replicate, marking one of the first theoretical justifications and quantifications of late-interaction methods. Our theoretical findings are supported empirically: on a retrieval task featuring queries with negations, Signed MaxSim improves out-of-domain performance significantly over a standard ColBERT/MaxSim baseline with nDCG@10 increasing from 0.597 to 1.000 under a vocabulary shift and from 0.008 to 0.788 on negation-only queries.