Hypencoder: Hiperredes para Recuperação de Informação

Hypencoder: Hypernetworks for Information Retrieval

February 7, 2025

Autores: Julian Killingback, Hansi Zeng, Hamed Zamani

cs.AI

Resumo

A grande maioria dos modelos de recuperação depende de produtos internos vetoriais para produzir uma pontuação de relevância entre uma consulta e um documento. Isso naturalmente limita a expressividade da pontuação de relevância que pode ser empregada. Propomos um novo paradigma: em vez de produzir um vetor para representar a consulta, produzimos uma pequena rede neural que atua como uma função de relevância aprendida. Essa pequena rede neural recebe uma representação do documento, neste trabalho usamos um único vetor, e produz uma pontuação de relevância escalar. Para produzir a pequena rede neural, usamos uma hiper-rede, uma rede que produz os pesos de outras redes, como nosso codificador de consulta ou, como chamamos, um Hypencoder. Experimentos em tarefas de busca dentro do domínio mostram que o Hypencoder é capaz de superar significativamente modelos de recuperação densa e tem métricas mais altas do que modelos de reclassificação e modelos uma ordem de grandeza maiores. O Hypencoder também demonstra generalizar bem para tarefas de busca fora do domínio. Para avaliar a extensão das capacidades do Hypencoder, avaliamos um conjunto de tarefas de recuperação difíceis, incluindo recuperação de "ponta da língua" e tarefas de recuperação de instruções, e descobrimos que a lacuna de desempenho aumenta substancialmente em comparação com tarefas de recuperação padrão. Além disso, para demonstrar a praticidade do nosso método, implementamos um algoritmo de busca aproximada e mostramos que nosso modelo é capaz de pesquisar 8,8 milhões de documentos em menos de 60ms.

English

The vast majority of retrieval models depend on vector inner products to produce a relevance score between a query and a document. This naturally limits the expressiveness of the relevance score that can be employed. We propose a new paradigm, instead of producing a vector to represent the query we produce a small neural network which acts as a learned relevance function. This small neural network takes in a representation of the document, in this paper we use a single vector, and produces a scalar relevance score. To produce the little neural network we use a hypernetwork, a network that produce the weights of other networks, as our query encoder or as we call it a Hypencoder. Experiments on in-domain search tasks show that Hypencoder is able to significantly outperform strong dense retrieval models and has higher metrics then reranking models and models an order of magnitude larger. Hypencoder is also shown to generalize well to out-of-domain search tasks. To assess the extent of Hypencoder's capabilities, we evaluate on a set of hard retrieval tasks including tip-of-the-tongue retrieval and instruction-following retrieval tasks and find that the performance gap widens substantially compared to standard retrieval tasks. Furthermore, to demonstrate the practicality of our method we implement an approximate search algorithm and show that our model is able to search 8.8M documents in under 60ms.