Hypencodeur : Hyperréseaux pour la recherche d'informations

Hypencoder: Hypernetworks for Information Retrieval

February 7, 2025

Auteurs: Julian Killingback, Hansi Zeng, Hamed Zamani

cs.AI

Résumé

La grande majorité des modèles de recherche reposent sur les produits internes de vecteurs pour produire un score de pertinence entre une requête et un document. Cela limite naturellement l'expressivité du score de pertinence pouvant être utilisé. Nous proposons un nouveau paradigme, au lieu de produire un vecteur pour représenter la requête, nous produisons un petit réseau neuronal qui agit comme une fonction de pertinence apprise. Ce petit réseau neuronal prend en entrée une représentation du document, dans cet article nous utilisons un seul vecteur, et produit un score de pertinence scalaire. Pour produire le petit réseau neuronal, nous utilisons un hyper-réseau, un réseau qui produit les poids d'autres réseaux, comme notre codeur de requête ou comme nous l'appelons un Hypencodeur. Des expériences sur des tâches de recherche dans le même domaine montrent que l'Hypencodeur est capable de surpasser significativement les modèles de recherche denses forts et présente des métriques plus élevées que les modèles de réordonnancement et des modèles d'un ordre de grandeur plus grand. L'Hypencodeur est également démontré comme généralisant bien aux tâches de recherche hors domaine. Pour évaluer l'étendue des capacités de l'Hypencodeur, nous évaluons un ensemble de tâches de recherche difficiles incluant des tâches de recherche sur le bout de la langue et de suivi d'instructions, et constatons que l'écart de performance se creuse considérablement par rapport aux tâches de recherche standard. De plus, pour démontrer la praticité de notre méthode, nous mettons en œuvre un algorithme de recherche approximative et montrons que notre modèle est capable de rechercher 8,8 millions de documents en moins de 60 ms.

English

The vast majority of retrieval models depend on vector inner products to produce a relevance score between a query and a document. This naturally limits the expressiveness of the relevance score that can be employed. We propose a new paradigm, instead of producing a vector to represent the query we produce a small neural network which acts as a learned relevance function. This small neural network takes in a representation of the document, in this paper we use a single vector, and produces a scalar relevance score. To produce the little neural network we use a hypernetwork, a network that produce the weights of other networks, as our query encoder or as we call it a Hypencoder. Experiments on in-domain search tasks show that Hypencoder is able to significantly outperform strong dense retrieval models and has higher metrics then reranking models and models an order of magnitude larger. Hypencoder is also shown to generalize well to out-of-domain search tasks. To assess the extent of Hypencoder's capabilities, we evaluate on a set of hard retrieval tasks including tip-of-the-tongue retrieval and instruction-following retrieval tasks and find that the performance gap widens substantially compared to standard retrieval tasks. Furthermore, to demonstrate the practicality of our method we implement an approximate search algorithm and show that our model is able to search 8.8M documents in under 60ms.