Recuperación densa de cero disparos con incrustaciones de retroalimentación de relevancia.

Zero-Shot Dense Retrieval with Embeddings from Relevance Feedback

October 28, 2024

Autores: Nour Jedidi, Yung-Sung Chuang, Leslie Shing, James Glass

cs.AI

Resumen

La construcción de sistemas de recuperación densa efectivos sigue siendo difícil cuando no se dispone de supervisión de relevancia. Trabajos recientes han buscado superar este desafío utilizando un Modelo de Lenguaje Grande (LLM) para generar documentos hipotéticos que puedan usarse para encontrar el documento real más cercano. Sin embargo, este enfoque depende únicamente de que el LLM tenga conocimientos específicos del dominio relevantes para la consulta, lo cual puede no ser práctico. Además, la generación de documentos hipotéticos puede ser ineficiente, ya que requiere que el LLM genere un gran número de tokens para cada consulta. Para abordar estos desafíos, presentamos Incrustaciones de Documentos Reales a partir de Retroalimentación de Relevancia (ReDE-RF). Inspirado en la retroalimentación de relevancia, ReDE-RF propone reformular la generación de documentos hipotéticos como una tarea de estimación de relevancia, utilizando un LLM para seleccionar qué documentos deben usarse para la búsqueda del vecino más cercano. A través de esta reformulación, el LLM ya no necesita conocimientos específicos del dominio, sino que solo necesita juzgar qué es relevante. Además, la estimación de relevancia solo requiere que el LLM produzca un solo token, mejorando así la latencia de búsqueda. Nuestros experimentos muestran que ReDE-RF supera consistentemente a los métodos de recuperación densa de disparo cero de última generación en una amplia gama de conjuntos de datos de recuperación de recursos limitados, al tiempo que también logra mejoras significativas en la latencia por consulta.

English

Building effective dense retrieval systems remains difficult when relevance supervision is not available. Recent work has looked to overcome this challenge by using a Large Language Model (LLM) to generate hypothetical documents that can be used to find the closest real document. However, this approach relies solely on the LLM to have domain-specific knowledge relevant to the query, which may not be practical. Furthermore, generating hypothetical documents can be inefficient as it requires the LLM to generate a large number of tokens for each query. To address these challenges, we introduce Real Document Embeddings from Relevance Feedback (ReDE-RF). Inspired by relevance feedback, ReDE-RF proposes to re-frame hypothetical document generation as a relevance estimation task, using an LLM to select which documents should be used for nearest neighbor search. Through this re-framing, the LLM no longer needs domain-specific knowledge but only needs to judge what is relevant. Additionally, relevance estimation only requires the LLM to output a single token, thereby improving search latency. Our experiments show that ReDE-RF consistently surpasses state-of-the-art zero-shot dense retrieval methods across a wide range of low-resource retrieval datasets while also making significant improvements in latency per-query.