Нулевой поиск с плотным извлечением с использованием векторных представлений обратной связи по релевантности

Zero-Shot Dense Retrieval with Embeddings from Relevance Feedback

October 28, 2024

Авторы: Nour Jedidi, Yung-Sung Chuang, Leslie Shing, James Glass

cs.AI

Аннотация

Построение эффективных систем плотного извлечения остаётся сложной задачей, когда недоступен контроль за релевантностью. Недавние исследования пытались преодолеть этот вызов, используя большую языковую модель (Large Language Model, LLM) для генерации гипотетических документов, которые могут быть использованы для нахождения ближайшего реального документа. Однако этот подход полностью зависит от того, что у LLM есть областные знания, соответствующие запросу, что может быть непрактично. Кроме того, генерация гипотетических документов может быть неэффективной, поскольку требуется, чтобы LLM генерировала большое количество токенов для каждого запроса. Для решения этих проблем мы представляем Векторные Вложения Реальных Документов с Обратной Связью по Релевантности (Real Document Embeddings from Relevance Feedback, ReDE-RF). Вдохновленный обратной связью по релевантности, ReDE-RF предлагает переосмыслить генерацию гипотетических документов как задачу оценки релевантности, используя LLM для выбора документов, которые следует использовать для поиска ближайших соседей. Благодаря этому переосмыслению, LLM больше не требуется областных знаний, а лишь способность оценить, что является релевантным. Кроме того, оценка релевантности требует от LLM вывода всего одного токена, что улучшает задержку поиска. Наши эксперименты показывают, что ReDE-RF последовательно превосходит современные методы плотного извлечения без обучения на широком спектре наборов данных с ограниченными ресурсами, а также значительно улучшает задержку на каждый запрос.

English

Building effective dense retrieval systems remains difficult when relevance supervision is not available. Recent work has looked to overcome this challenge by using a Large Language Model (LLM) to generate hypothetical documents that can be used to find the closest real document. However, this approach relies solely on the LLM to have domain-specific knowledge relevant to the query, which may not be practical. Furthermore, generating hypothetical documents can be inefficient as it requires the LLM to generate a large number of tokens for each query. To address these challenges, we introduce Real Document Embeddings from Relevance Feedback (ReDE-RF). Inspired by relevance feedback, ReDE-RF proposes to re-frame hypothetical document generation as a relevance estimation task, using an LLM to select which documents should be used for nearest neighbor search. Through this re-framing, the LLM no longer needs domain-specific knowledge but only needs to judge what is relevant. Additionally, relevance estimation only requires the LLM to output a single token, thereby improving search latency. Our experiments show that ReDE-RF consistently surpasses state-of-the-art zero-shot dense retrieval methods across a wide range of low-resource retrieval datasets while also making significant improvements in latency per-query.