Promptriever : Les récupérateurs entraînés par instruction peuvent être sollicités comme des modèles de langage.

Promptriever: Instruction-Trained Retrievers Can Be Prompted Like Language Models

September 17, 2024

Auteurs: Orion Weller, Benjamin Van Durme, Dawn Lawrie, Ashwin Paranjape, Yuhao Zhang, Jack Hessel

cs.AI

Résumé

Les modèles de langage ajustés aux instructions (LM) sont capables de répondre à des commandes impératives, offrant une interface utilisateur plus naturelle par rapport à leurs homologues de base. Dans ce travail, nous présentons Promptriever, le premier modèle de récupération capable d'être sollicité comme un LM. Pour entraîner Promptriever, nous élaborons et publions un nouvel ensemble d'entraînement d'instructions au niveau de l'instance à partir de MS MARCO, couvrant près de 500 000 instances. Promptriever atteint non seulement de solides performances sur des tâches de récupération standard, mais suit également les instructions. Nous observons : (1) des gains importants (atteignant l'état de l'art) en suivant des instructions de pertinence détaillées (+14,3 p-MRR / +3,1 nDCG sur FollowIR), (2) une robustesse significativement accrue aux choix lexicaux/formulations dans la requête+instruction (+12,9 Robustesse@10 sur InstructIR), et (3) la capacité à effectuer une recherche d'hyperparamètres via la sollicitation pour améliorer de manière fiable les performances de récupération (+1,4 augmentation moyenne sur BEIR). Promptriever démontre que les modèles de récupération peuvent être contrôlés avec des sollicitations sur une base par requête, préparant le terrain pour des travaux futurs alignant les techniques de sollicitation de LM avec la recherche d'informations.

English

Instruction-tuned language models (LM) are able to respond to imperative commands, providing a more natural user interface compared to their base counterparts. In this work, we present Promptriever, the first retrieval model able to be prompted like an LM. To train Promptriever, we curate and release a new instance-level instruction training set from MS MARCO, spanning nearly 500k instances. Promptriever not only achieves strong performance on standard retrieval tasks, but also follows instructions. We observe: (1) large gains (reaching SoTA) on following detailed relevance instructions (+14.3 p-MRR / +3.1 nDCG on FollowIR), (2) significantly increased robustness to lexical choices/phrasing in the query+instruction (+12.9 Robustness@10 on InstructIR), and (3) the ability to perform hyperparameter search via prompting to reliably improve retrieval performance (+1.4 average increase on BEIR). Promptriever demonstrates that retrieval models can be controlled with prompts on a per-query basis, setting the stage for future work aligning LM prompting techniques with information retrieval.