Hypencoder: Iperreti per il Recupero delle Informazioni

Hypencoder: Hypernetworks for Information Retrieval

February 7, 2025

Autori: Julian Killingback, Hansi Zeng, Hamed Zamani

cs.AI

Abstract

La stragrande maggioranza dei modelli di recupero si basa sui prodotti interni dei vettori per generare un punteggio di rilevanza tra una query e un documento. Questo limita naturalmente l'espressività del punteggio di rilevanza che può essere impiegato. Noi proponiamo un nuovo paradigma, anziché produrre un vettore per rappresentare la query, produciamo una piccola rete neurale che funge da funzione di rilevanza appresa. Questa piccola rete neurale riceve in ingresso una rappresentazione del documento, in questo articolo utilizziamo un singolo vettore, e produce un punteggio di rilevanza scalare. Per creare la piccola rete neurale utilizziamo un iper-rete, una rete che produce i pesi di altre reti, come nostro codificatore di query o come lo chiamiamo un Ipercodificatore. Gli esperimenti su compiti di ricerca in-domain mostrano che l'Ipercodificatore è in grado di superare significativamente i modelli di recupero densi robusti e ha metriche più elevate rispetto ai modelli di riordinamento e modelli di un ordine di grandezza maggiore. Inoltre, l'Ipercodificatore è dimostrato di generalizzare bene anche a compiti di ricerca out-of-domain. Per valutare l'estensione delle capacità dell'Ipercodificatore, valutiamo un insieme di compiti di recupero difficili, tra cui il recupero sulla punta della lingua e compiti di recupero seguendo istruzioni, e scopriamo che il divario di prestazioni si allarga notevolmente rispetto ai compiti di recupero standard. Inoltre, per dimostrare la praticità del nostro metodo, implementiamo un algoritmo di ricerca approssimato e mostriamo che il nostro modello è in grado di cercare 8,8 milioni di documenti in meno di 60 ms.

English

The vast majority of retrieval models depend on vector inner products to produce a relevance score between a query and a document. This naturally limits the expressiveness of the relevance score that can be employed. We propose a new paradigm, instead of producing a vector to represent the query we produce a small neural network which acts as a learned relevance function. This small neural network takes in a representation of the document, in this paper we use a single vector, and produces a scalar relevance score. To produce the little neural network we use a hypernetwork, a network that produce the weights of other networks, as our query encoder or as we call it a Hypencoder. Experiments on in-domain search tasks show that Hypencoder is able to significantly outperform strong dense retrieval models and has higher metrics then reranking models and models an order of magnitude larger. Hypencoder is also shown to generalize well to out-of-domain search tasks. To assess the extent of Hypencoder's capabilities, we evaluate on a set of hard retrieval tasks including tip-of-the-tongue retrieval and instruction-following retrieval tasks and find that the performance gap widens substantially compared to standard retrieval tasks. Furthermore, to demonstrate the practicality of our method we implement an approximate search algorithm and show that our model is able to search 8.8M documents in under 60ms.