Hypencoder: Hypernetzwerke für die Informationsabfrage

Hypencoder: Hypernetworks for Information Retrieval

February 7, 2025

Autoren: Julian Killingback, Hansi Zeng, Hamed Zamani

cs.AI

Zusammenfassung

Die überwiegende Mehrheit der Abrufmodelle basiert auf Vektor-Innenprodukten, um einen Relevanzwert zwischen einer Abfrage und einem Dokument zu erzeugen. Dies begrenzt natürlich die Ausdruckskraft des Relevanzwerts, der verwendet werden kann. Wir schlagen ein neues Paradigma vor: Anstatt einen Vektor zur Darstellung der Abfrage zu erzeugen, erstellen wir ein kleines neuronales Netzwerk, das als gelernte Relevanzfunktion fungiert. Dieses kleine neuronale Netzwerk nimmt eine Darstellung des Dokuments entgegen, in diesem Papier verwenden wir einen einzelnen Vektor, und erzeugt einen skalaren Relevanzwert. Um das kleine neuronale Netzwerk zu erzeugen, verwenden wir einen Hypernetzwerk, ein Netzwerk, das die Gewichte anderer Netzwerke erzeugt, als unseren Abfrageencoder oder wie wir ihn nennen einen Hypencoder. Experimente mit Suchaufgaben im selben Bereich zeigen, dass der Hypencoder signifikant bessere Leistungen erbringt als starke dichte Abrufmodelle und höhere Metriken aufweist als Neurangierungsmodelle und Modelle, die um eine Größenordnung größer sind. Der Hypencoder zeigt auch eine gute Verallgemeinerungsfähigkeit für Suchaufgaben außerhalb des Bereichs. Um den Umfang der Fähigkeiten des Hypencoders zu bewerten, evaluieren wir eine Reihe schwieriger Abrufaufgaben, darunter Abrufaufgaben am Rande des Bewusstseins und Anweisungsfolge-Abrufaufgaben, und stellen fest, dass die Leistungsdifferenz im Vergleich zu Standard-Abrufaufgaben erheblich zunimmt. Darüber hinaus implementieren wir einen approximativen Suchalgorithmus, um die Praktikabilität unserer Methode zu demonstrieren, und zeigen, dass unser Modell in der Lage ist, 8,8 Millionen Dokumente in weniger als 60 ms zu durchsuchen.

English

The vast majority of retrieval models depend on vector inner products to produce a relevance score between a query and a document. This naturally limits the expressiveness of the relevance score that can be employed. We propose a new paradigm, instead of producing a vector to represent the query we produce a small neural network which acts as a learned relevance function. This small neural network takes in a representation of the document, in this paper we use a single vector, and produces a scalar relevance score. To produce the little neural network we use a hypernetwork, a network that produce the weights of other networks, as our query encoder or as we call it a Hypencoder. Experiments on in-domain search tasks show that Hypencoder is able to significantly outperform strong dense retrieval models and has higher metrics then reranking models and models an order of magnitude larger. Hypencoder is also shown to generalize well to out-of-domain search tasks. To assess the extent of Hypencoder's capabilities, we evaluate on a set of hard retrieval tasks including tip-of-the-tongue retrieval and instruction-following retrieval tasks and find that the performance gap widens substantially compared to standard retrieval tasks. Furthermore, to demonstrate the practicality of our method we implement an approximate search algorithm and show that our model is able to search 8.8M documents in under 60ms.