Quantificação e Expansão da Capacidade Teórica de Modelos de Recuperação de Interação Tardia

Resumo

Modelos de recuperação de interação tardia que utilizam a função de similaridade MaxSim demonstraram forte desempenho empírico, frequentemente superando modelos de recuperação densos de vetor único e esparsos. Apesar dessas descobertas empíricas, pouco se sabe sobre o poder de representação teórica do MaxSim e como ele se compara a outras abordagens de recuperação. Este artigo mostra, por construção, que a similaridade MaxSim pode replicar exatamente o produto interno entre quaisquer dois vetores k-esparsos não negativos, possivelmente de dimensão infinita, exigindo apenas espaço de representação O(k). Além disso, existem similaridades que o MaxSim pode expressar, enquanto produtos internos vetoriais padrão com o mesmo espaço de representação não conseguem. Aproveitando nossa estrutura teórica, introduzimos o Signed MaxSim, que permite que modelos de interação tardia repliquem exatamente qualquer produto interno de valor real, algo que provamos que o MaxSim padrão não é capaz de fazer. Também mostramos que o MaxSim pode atuar como uma agregação de operações soft-OR e como um avaliador de expressões lógicas na Forma Normal Conjuntiva positiva. Nossos resultados mostram que o MaxSim é pelo menos tão capaz quanto produtos internos vetoriais padrão para quaisquer vetores não negativos, e nossa extensão, Signed MaxSim, é tão capaz para quaisquer vetores. Ambas as similaridades possuem capacidades adicionais que o produto interno não consegue replicar, marcando uma das primeiras justificativas teóricas e quantificações dos métodos de interação tardia. Nossos achados teóricos são apoiados empiricamente: em uma tarefa de recuperação com consultas contendo negações, o Signed MaxSim melhora significativamente o desempenho fora do domínio em relação a uma linha de base padrão ColBERT/MaxSim, com nDCG@10 aumentando de 0,597 para 1,000 sob uma mudança de vocabulário e de 0,008 para 0,788 em consultas apenas com negação.

English

Late-interaction retrieval models that use the MaxSim similarity function have shown strong empirical performance, often outperforming single-vector dense and sparse retrieval models. Despite these empirical findings, little is known about the theoretical representation power of MaxSim and how it compares to other retrieval approaches. This paper shows by construction that MaxSim similarity can exactly replicate the inner product between any two non-negative k-sparse vectors with possibly infinite dimension, requiring only O(k) representation space. Moreover, there exist similarities that MaxSim can express while standard vector inner products with the same representation space cannot. Leveraging our theoretical framework, we introduce Signed MaxSim which allows late-interaction models to exactly replicate any real-valued inner product, something we prove standard MaxSim is not capable of. We also show that MaxSim can act as an aggregation of soft-OR operations and as an evaluator of logical expressions in positive Conjunctive Normal Form. Our findings show that MaxSim is at least as capable as standard vector inner products for any non-negative vectors and our extension, Signed MaxSim, is as capable for any vectors. Both similarities possess additional capabilities that inner product cannot replicate, marking one of the first theoretical justifications and quantifications of late-interaction methods. Our theoretical findings are supported empirically: on a retrieval task featuring queries with negations, Signed MaxSim improves out-of-domain performance significantly over a standard ColBERT/MaxSim baseline with nDCG@10 increasing from 0.597 to 1.000 under a vocabulary shift and from 0.008 to 0.788 on negation-only queries.