Hypencoder: Hiperredes para Recuperación de Información

Hypencoder: Hypernetworks for Information Retrieval

February 7, 2025

Autores: Julian Killingback, Hansi Zeng, Hamed Zamani

cs.AI

Resumen

La gran mayoría de los modelos de recuperación dependen de productos internos de vectores para generar un puntaje de relevancia entre una consulta y un documento. Esto limita naturalmente la expresividad del puntaje de relevancia que se puede utilizar. Proponemos un nuevo paradigma, en lugar de producir un vector para representar la consulta, generamos una pequeña red neuronal que actúa como una función de relevancia aprendida. Esta pequeña red neuronal recibe una representación del documento, en este artículo utilizamos un solo vector, y produce un puntaje de relevancia escalar. Para crear la pequeña red neuronal, utilizamos un hiperred, una red que produce los pesos de otras redes, como nuestro codificador de consulta o como lo llamamos un Hipcodificador. Experimentos en tareas de búsqueda en dominio muestran que el Hipcodificador es capaz de superar significativamente a modelos de recuperación densa sólidos y tiene métricas más altas que modelos de reordenamiento y modelos de un orden de magnitud mayor. Además, se demuestra que el Hipcodificador generaliza bien a tareas de búsqueda fuera de dominio. Para evaluar el alcance de las capacidades del Hipcodificador, evaluamos un conjunto de tareas de recuperación difíciles que incluyen recuperación en la punta de la lengua y tareas de seguimiento de instrucciones, y encontramos que la brecha de rendimiento se amplía sustancialmente en comparación con tareas de recuperación estándar. Además, para demostrar la practicidad de nuestro método, implementamos un algoritmo de búsqueda aproximada y demostramos que nuestro modelo puede buscar 8.8 millones de documentos en menos de 60 ms.

English

The vast majority of retrieval models depend on vector inner products to produce a relevance score between a query and a document. This naturally limits the expressiveness of the relevance score that can be employed. We propose a new paradigm, instead of producing a vector to represent the query we produce a small neural network which acts as a learned relevance function. This small neural network takes in a representation of the document, in this paper we use a single vector, and produces a scalar relevance score. To produce the little neural network we use a hypernetwork, a network that produce the weights of other networks, as our query encoder or as we call it a Hypencoder. Experiments on in-domain search tasks show that Hypencoder is able to significantly outperform strong dense retrieval models and has higher metrics then reranking models and models an order of magnitude larger. Hypencoder is also shown to generalize well to out-of-domain search tasks. To assess the extent of Hypencoder's capabilities, we evaluate on a set of hard retrieval tasks including tip-of-the-tongue retrieval and instruction-following retrieval tasks and find that the performance gap widens substantially compared to standard retrieval tasks. Furthermore, to demonstrate the practicality of our method we implement an approximate search algorithm and show that our model is able to search 8.8M documents in under 60ms.