Hypencoder: Гиперсети для информационного поиска

Hypencoder: Hypernetworks for Information Retrieval

February 7, 2025

Авторы: Julian Killingback, Hansi Zeng, Hamed Zamani

cs.AI

Аннотация

Большинство моделей поиска зависят от внутренних произведений векторов для создания оценки релевантности между запросом и документом. Это естественным образом ограничивает выразительность оценки релевантности, которая может быть использована. Мы предлагаем новую парадигму: вместо создания вектора для представления запроса мы создаем небольшую нейронную сеть, которая действует как обученная функция релевантности. Эта небольшая нейронная сеть принимает представление документа, в данной статье мы используем один вектор, и создает скалярную оценку релевантности. Для создания этой небольшой нейронной сети мы используем гиперсеть, сеть, которая создает веса для других сетей, в качестве нашего кодера запросов или, как мы называем его, Гипкодера. Эксперименты на задачах поиска внутри домена показывают, что Гипкодер способен значительно превзойти сильные модели плотного поиска и имеет более высокие метрики, чем модели переранжирования и модели порядка в десятки раз большие. Гипкодер также показывает хорошую обобщающую способность на задачах поиска вне домена. Для оценки возможностей Гипкодера мы проводим оценку на наборе сложных задач поиска, включая поиск на кончике языка и задачи по следованию инструкциям, и обнаруживаем, что разрыв в производительности существенно увеличивается по сравнению со стандартными задачами поиска. Кроме того, чтобы продемонстрировать практичность нашего метода, мы реализуем приближенный алгоритм поиска и показываем, что наша модель способна искать 8,8 млн документов менее чем за 60 мс.

English

The vast majority of retrieval models depend on vector inner products to produce a relevance score between a query and a document. This naturally limits the expressiveness of the relevance score that can be employed. We propose a new paradigm, instead of producing a vector to represent the query we produce a small neural network which acts as a learned relevance function. This small neural network takes in a representation of the document, in this paper we use a single vector, and produces a scalar relevance score. To produce the little neural network we use a hypernetwork, a network that produce the weights of other networks, as our query encoder or as we call it a Hypencoder. Experiments on in-domain search tasks show that Hypencoder is able to significantly outperform strong dense retrieval models and has higher metrics then reranking models and models an order of magnitude larger. Hypencoder is also shown to generalize well to out-of-domain search tasks. To assess the extent of Hypencoder's capabilities, we evaluate on a set of hard retrieval tasks including tip-of-the-tongue retrieval and instruction-following retrieval tasks and find that the performance gap widens substantially compared to standard retrieval tasks. Furthermore, to demonstrate the practicality of our method we implement an approximate search algorithm and show that our model is able to search 8.8M documents in under 60ms.