プロンプトリーバー：指示に訓練されたリトリーバーは、言語モデルのようにプロンプトを受け取ることができます。

Promptriever: Instruction-Trained Retrievers Can Be Prompted Like Language Models

September 17, 2024

著者: Orion Weller, Benjamin Van Durme, Dawn Lawrie, Ashwin Paranjape, Yuhao Zhang, Jack Hessel

cs.AI

要旨

指示に調整された言語モデル（LM）は、命令形のコマンドに応じて、基本的なモデルと比較してより自然なユーザーインターフェースを提供することができます。本研究では、Promptrieverという、最初の検索モデルがLMのようにプロンプトできるモデルを提案します。Promptrieverを訓練するために、MS MARCOから約50万のインスタンスをカバーする新しいインスタンスレベルの指示トレーニングセットを編纂して公開します。Promptrieverは、標準的な検索タスクで強力なパフォーマンスを達成するだけでなく、指示に従います。我々は次のような観察を行っています：（1）詳細な関連性の指示に従う際に大幅な向上（FollowIRで+14.3 p-MRR / +3.1 nDCGでSoTAに到達）、（2）クエリ+指示の語彙選択/表現に対する耐久性が著しく向上（InstructIRで+12.9 Robustness@10）、および（3）検索パフォーマンスを信頼性を持って向上させるためにプロンプトを介したハイパーパラメータ検索を実行する能力（BEIRで平均1.4の向上）。Promptrieverは、検索モデルがクエリごとにプロンプトで制御できることを示し、LMのプロンプト技術を情報検索と調整するための将来の作業の舞台を設定しています。

English

Instruction-tuned language models (LM) are able to respond to imperative commands, providing a more natural user interface compared to their base counterparts. In this work, we present Promptriever, the first retrieval model able to be prompted like an LM. To train Promptriever, we curate and release a new instance-level instruction training set from MS MARCO, spanning nearly 500k instances. Promptriever not only achieves strong performance on standard retrieval tasks, but also follows instructions. We observe: (1) large gains (reaching SoTA) on following detailed relevance instructions (+14.3 p-MRR / +3.1 nDCG on FollowIR), (2) significantly increased robustness to lexical choices/phrasing in the query+instruction (+12.9 Robustness@10 on InstructIR), and (3) the ability to perform hyperparameter search via prompting to reliably improve retrieval performance (+1.4 average increase on BEIR). Promptriever demonstrates that retrieval models can be controlled with prompts on a per-query basis, setting the stage for future work aligning LM prompting techniques with information retrieval.