Promptriever: Instructie-getrainde retrievers kunnen worden aangestuurd zoals taalmodellen.

Promptriever: Instruction-Trained Retrievers Can Be Prompted Like Language Models

September 17, 2024

Auteurs: Orion Weller, Benjamin Van Durme, Dawn Lawrie, Ashwin Paranjape, Yuhao Zhang, Jack Hessel

cs.AI

Samenvatting

Instructie-afgestemde taalmodellen (LM) zijn in staat om te reageren op imperatieve commando's, waardoor ze een natuurlijkere gebruikersinterface bieden in vergelijking met hun basis-tegenhangers. In dit werk presenteren we Promptriever, het eerste ophaalmodel dat kan worden aangestuurd zoals een LM. Om Promptriever te trainen, stellen we een nieuwe instantie-niveau instructie-trainingsset samen van MS MARCO, die bijna 500k instanties beslaat. Promptriever behaalt niet alleen sterke prestaties op standaard ophaaltaken, maar volgt ook instructies op. We observeren: (1) grote verbeteringen (bereiken van SoTA) bij het opvolgen van gedetailleerde relevantie-instructies (+14.3 p-MRR / +3.1 nDCG op FollowIR), (2) aanzienlijk verhoogde robuustheid ten opzichte van lexicaal keuzes/frasering in de query+instructie (+12.9 Robustness@10 op InstructIR), en (3) de mogelijkheid om hyperparameter-zoekopdrachten uit te voeren via aansturing om betrouwbaar de ophaalprestaties te verbeteren (+1.4 gemiddelde toename op BEIR). Promptriever toont aan dat ophaalmodellen kunnen worden aangestuurd met prompts op een per-query basis, wat de weg vrijmaakt voor toekomstig werk waarin LM-aansturingstechnieken worden afgestemd op informatieopvraging.

English

Instruction-tuned language models (LM) are able to respond to imperative commands, providing a more natural user interface compared to their base counterparts. In this work, we present Promptriever, the first retrieval model able to be prompted like an LM. To train Promptriever, we curate and release a new instance-level instruction training set from MS MARCO, spanning nearly 500k instances. Promptriever not only achieves strong performance on standard retrieval tasks, but also follows instructions. We observe: (1) large gains (reaching SoTA) on following detailed relevance instructions (+14.3 p-MRR / +3.1 nDCG on FollowIR), (2) significantly increased robustness to lexical choices/phrasing in the query+instruction (+12.9 Robustness@10 on InstructIR), and (3) the ability to perform hyperparameter search via prompting to reliably improve retrieval performance (+1.4 average increase on BEIR). Promptriever demonstrates that retrieval models can be controlled with prompts on a per-query basis, setting the stage for future work aligning LM prompting techniques with information retrieval.