Promptriever: Recuperadores Treinados por Instruções Podem Ser Acionados Como Modelos de Linguagem

Promptriever: Instruction-Trained Retrievers Can Be Prompted Like Language Models

September 17, 2024

Autores: Orion Weller, Benjamin Van Durme, Dawn Lawrie, Ashwin Paranjape, Yuhao Zhang, Jack Hessel

cs.AI

Resumo

Os modelos de linguagem ajustados a instruções são capazes de responder a comandos imperativos, proporcionando uma interface de usuário mais natural em comparação com suas contrapartes base. Neste trabalho, apresentamos o Promptriever, o primeiro modelo de recuperação capaz de ser solicitado como um modelo de linguagem. Para treinar o Promptriever, curamos e disponibilizamos um novo conjunto de treinamento de instruções em nível de instância do MS MARCO, abrangendo quase 500 mil instâncias. O Promptriever não apenas alcança um desempenho sólido em tarefas de recuperação padrão, mas também segue instruções. Observamos: (1) grandes ganhos (atingindo o estado da arte) ao seguir instruções detalhadas de relevância (+14,3 p-MRR / +3,1 nDCG no FollowIR), (2) aumento significativo da robustez em relação às escolhas lexicais/formas na consulta+instrução (+12,9 Robustez@10 no InstructIR), e (3) a capacidade de realizar busca de hiperparâmetros por meio de solicitações para melhorar de forma confiável o desempenho de recuperação (+1,4 aumento médio no BEIR). O Promptriever demonstra que os modelos de recuperação podem ser controlados com solicitações em uma base por consulta, preparando o terreno para trabalhos futuros alinhando técnicas de solicitação de modelos de linguagem com a recuperação de informações.

English

Instruction-tuned language models (LM) are able to respond to imperative commands, providing a more natural user interface compared to their base counterparts. In this work, we present Promptriever, the first retrieval model able to be prompted like an LM. To train Promptriever, we curate and release a new instance-level instruction training set from MS MARCO, spanning nearly 500k instances. Promptriever not only achieves strong performance on standard retrieval tasks, but also follows instructions. We observe: (1) large gains (reaching SoTA) on following detailed relevance instructions (+14.3 p-MRR / +3.1 nDCG on FollowIR), (2) significantly increased robustness to lexical choices/phrasing in the query+instruction (+12.9 Robustness@10 on InstructIR), and (3) the ability to perform hyperparameter search via prompting to reliably improve retrieval performance (+1.4 average increase on BEIR). Promptriever demonstrates that retrieval models can be controlled with prompts on a per-query basis, setting the stage for future work aligning LM prompting techniques with information retrieval.