Recuperação Densa sem Supervisão com Incorporação de Retroalimentação de Relevância

Zero-Shot Dense Retrieval with Embeddings from Relevance Feedback

October 28, 2024

Autores: Nour Jedidi, Yung-Sung Chuang, Leslie Shing, James Glass

cs.AI

Resumo

A construção de sistemas de recuperação densa eficazes continua sendo difícil quando a supervisão de relevância não está disponível. Trabalhos recentes têm buscado superar esse desafio ao utilizar um Modelo de Linguagem Grande (LLM) para gerar documentos hipotéticos que podem ser usados para encontrar o documento real mais próximo. No entanto, essa abordagem depende exclusivamente do LLM possuir conhecimento específico do domínio relevante à consulta, o que pode não ser prático. Além disso, a geração de documentos hipotéticos pode ser ineficiente, pois requer que o LLM gere um grande número de tokens para cada consulta. Para enfrentar esses desafios, apresentamos os Incorporamentos de Documentos Reais a partir do Feedback de Relevância (ReDE-RF). Inspirado no feedback de relevância, o ReDE-RF propõe reformular a geração de documentos hipotéticos como uma tarefa de estimação de relevância, utilizando um LLM para selecionar quais documentos devem ser usados para a busca do vizinho mais próximo. Através dessa reformulação, o LLM não precisa mais de conhecimento específico do domínio, mas apenas precisa avaliar o que é relevante. Além disso, a estimação de relevância requer apenas que o LLM produza um único token, melhorando assim a latência da busca. Nossos experimentos mostram que o ReDE-RF consistentemente supera os métodos de recuperação densa de zero-shot de última geração em uma ampla gama de conjuntos de dados de recuperação de baixos recursos, ao mesmo tempo em que apresenta melhorias significativas na latência por consulta.

English

Building effective dense retrieval systems remains difficult when relevance supervision is not available. Recent work has looked to overcome this challenge by using a Large Language Model (LLM) to generate hypothetical documents that can be used to find the closest real document. However, this approach relies solely on the LLM to have domain-specific knowledge relevant to the query, which may not be practical. Furthermore, generating hypothetical documents can be inefficient as it requires the LLM to generate a large number of tokens for each query. To address these challenges, we introduce Real Document Embeddings from Relevance Feedback (ReDE-RF). Inspired by relevance feedback, ReDE-RF proposes to re-frame hypothetical document generation as a relevance estimation task, using an LLM to select which documents should be used for nearest neighbor search. Through this re-framing, the LLM no longer needs domain-specific knowledge but only needs to judge what is relevant. Additionally, relevance estimation only requires the LLM to output a single token, thereby improving search latency. Our experiments show that ReDE-RF consistently surpasses state-of-the-art zero-shot dense retrieval methods across a wide range of low-resource retrieval datasets while also making significant improvements in latency per-query.