関連フィードバックからの埋め込みを用いたゼロショット密な検索

Zero-Shot Dense Retrieval with Embeddings from Relevance Feedback

October 28, 2024

著者: Nour Jedidi, Yung-Sung Chuang, Leslie Shing, James Glass

cs.AI

要旨

効果的な密な検索システムを構築することは、関連性の監督が利用できない場合には困難です。最近の研究では、この課題に対処するために、大規模言語モデル（LLM）を使用して、仮想的な文書を生成し、最も近い実際の文書を見つけるために使用する方法が検討されてきました。ただし、このアプローチは、クエリに関連するドメイン固有の知識をLLMだけに依存しているため、実用的でないことがあります。さらに、仮想的な文書の生成は効率的ではなく、各クエリに対してLLMが多数のトークンを生成する必要があります。これらの課題に対処するために、私たちは関連フィードバックからの実際の文書埋め込み（ReDE-RF）を導入します。関連フィードバックに着想を得たReDE-RFは、仮想的な文書の生成を関連性の推定タスクとして再構築し、LLMを使用して最も近い隣接文書を選択することを提案しています。この再構築により、LLMはもはやドメイン固有の知識を必要とせず、単に何が関連しているかを判断するだけで済みます。さらに、関連性の推定にはLLMが単一のトークンを出力するだけで済むため、検索の待ち時間が改善されます。私たちの実験では、ReDE-RFが広範囲の低リソース検索データセットにおいて、最先端のゼロショット密な検索手法を一貫して上回り、クエリあたりの待ち時間も大幅に改善されていることが示されています。

English

Building effective dense retrieval systems remains difficult when relevance supervision is not available. Recent work has looked to overcome this challenge by using a Large Language Model (LLM) to generate hypothetical documents that can be used to find the closest real document. However, this approach relies solely on the LLM to have domain-specific knowledge relevant to the query, which may not be practical. Furthermore, generating hypothetical documents can be inefficient as it requires the LLM to generate a large number of tokens for each query. To address these challenges, we introduce Real Document Embeddings from Relevance Feedback (ReDE-RF). Inspired by relevance feedback, ReDE-RF proposes to re-frame hypothetical document generation as a relevance estimation task, using an LLM to select which documents should be used for nearest neighbor search. Through this re-framing, the LLM no longer needs domain-specific knowledge but only needs to judge what is relevant. Additionally, relevance estimation only requires the LLM to output a single token, thereby improving search latency. Our experiments show that ReDE-RF consistently surpasses state-of-the-art zero-shot dense retrieval methods across a wide range of low-resource retrieval datasets while also making significant improvements in latency per-query.