ChatPaper.aiChatPaper

Promptriever: i recuperatori addestrati tramite istruzioni possono essere sollecitati come modelli linguistici

Promptriever: Instruction-Trained Retrievers Can Be Prompted Like Language Models

September 17, 2024
Autori: Orion Weller, Benjamin Van Durme, Dawn Lawrie, Ashwin Paranjape, Yuhao Zhang, Jack Hessel
cs.AI

Abstract

I modelli linguistici (LM) ottimizzati tramite istruzioni sono in grado di rispondere a comandi imperativi, offrendo un'interfaccia utente più naturale rispetto alle controparti di base. In questo lavoro, presentiamo Promptriever, il primo modello di recupero in grado di essere sollecitato come un LM. Per addestrare Promptriever, curiamo e rilasciamo un nuovo set di addestramento delle istanze a livello di istruzione da MS MARCO, che copre quasi 500k istanze. Promptriever non solo ottiene ottime prestazioni in compiti standard di recupero, ma segue anche le istruzioni. Osserviamo: (1) grandi miglioramenti (raggiungendo lo stato dell'arte) nel seguire istruzioni dettagliate sulla rilevanza (+14.3 p-MRR / +3.1 nDCG su FollowIR), (2) una significativa maggiore robustezza nelle scelte lessicali/formulazioni nella query+istruzione (+12.9 Robustness@10 su InstructIR), e (3) la capacità di eseguire la ricerca iperparametrica tramite sollecitazioni per migliorare in modo affidabile le prestazioni di recupero (+1.4 aumento medio su BEIR). Promptriever dimostra che i modelli di recupero possono essere controllati con sollecitazioni su base per-query, aprendo la strada per futuri lavori che allineano le tecniche di sollecitazione LM con il recupero delle informazioni.
English
Instruction-tuned language models (LM) are able to respond to imperative commands, providing a more natural user interface compared to their base counterparts. In this work, we present Promptriever, the first retrieval model able to be prompted like an LM. To train Promptriever, we curate and release a new instance-level instruction training set from MS MARCO, spanning nearly 500k instances. Promptriever not only achieves strong performance on standard retrieval tasks, but also follows instructions. We observe: (1) large gains (reaching SoTA) on following detailed relevance instructions (+14.3 p-MRR / +3.1 nDCG on FollowIR), (2) significantly increased robustness to lexical choices/phrasing in the query+instruction (+12.9 Robustness@10 on InstructIR), and (3) the ability to perform hyperparameter search via prompting to reliably improve retrieval performance (+1.4 average increase on BEIR). Promptriever demonstrates that retrieval models can be controlled with prompts on a per-query basis, setting the stage for future work aligning LM prompting techniques with information retrieval.

Summary

AI-Generated Summary

PDF242November 16, 2024