Hypencoder: Hypernetwerken voor Informatieopvraging

Hypencoder: Hypernetworks for Information Retrieval

February 7, 2025

Auteurs: Julian Killingback, Hansi Zeng, Hamed Zamani

cs.AI

Samenvatting

De overgrote meerderheid van de ophaalmodellen is afhankelijk van inwendige producten van vectoren om een relevantiescore tussen een zoekopdracht en een document te produceren. Dit beperkt natuurlijk de expressiviteit van de relevantiescore die kan worden toegepast. Wij stellen een nieuw paradigma voor: in plaats van een vector te produceren om de zoekopdracht voor te stellen, produceren we een kleine neurale netwerk die fungeert als een aangeleerde relevantiefunctie. Dit kleine neurale netwerk neemt een representatie van het document in, in dit artikel gebruiken we een enkele vector, en produceert een scalaire relevantiescore. Om het kleine neurale netwerk te produceren, gebruiken we een hypernetwerk, een netwerk dat de gewichten van andere netwerken produceert, als onze zoekopdrachtencoder of zoals we het noemen een Hypencoder. Experimenten op zoekopdrachttaken binnen het domein tonen aan dat Hypencoder aanzienlijk beter presteert dan sterke dichte ophaalmodellen en hogere metingen heeft dan herrangschikkingsmodellen en modellen die een orde van grootte groter zijn. Hypencoder wordt ook aangetoond goed te generaliseren naar zoekopdrachttaken buiten het domein. Om de omvang van de mogelijkheden van Hypencoder te beoordelen, evalueren we op een reeks moeilijke ophaaltaken, waaronder het 'tip-of-the-tongue' ophalen en instructievolgende ophaaltaken, en constateren dat de prestatiekloof aanzienlijk groter wordt in vergelijking met standaard ophaaltaken. Bovendien, om de praktische toepasbaarheid van onze methode te demonstreren, implementeren we een benaderingszoekalgoritme en tonen aan dat ons model in staat is om 8,8 miljoen documenten in minder dan 60 ms te doorzoeken.

English

The vast majority of retrieval models depend on vector inner products to produce a relevance score between a query and a document. This naturally limits the expressiveness of the relevance score that can be employed. We propose a new paradigm, instead of producing a vector to represent the query we produce a small neural network which acts as a learned relevance function. This small neural network takes in a representation of the document, in this paper we use a single vector, and produces a scalar relevance score. To produce the little neural network we use a hypernetwork, a network that produce the weights of other networks, as our query encoder or as we call it a Hypencoder. Experiments on in-domain search tasks show that Hypencoder is able to significantly outperform strong dense retrieval models and has higher metrics then reranking models and models an order of magnitude larger. Hypencoder is also shown to generalize well to out-of-domain search tasks. To assess the extent of Hypencoder's capabilities, we evaluate on a set of hard retrieval tasks including tip-of-the-tongue retrieval and instruction-following retrieval tasks and find that the performance gap widens substantially compared to standard retrieval tasks. Furthermore, to demonstrate the practicality of our method we implement an approximate search algorithm and show that our model is able to search 8.8M documents in under 60ms.