Promptriever: Instruktionsgeschulte Retrievers können wie Sprachmodelle aufgefordert werden.

Promptriever: Instruction-Trained Retrievers Can Be Prompted Like Language Models

September 17, 2024

Autoren: Orion Weller, Benjamin Van Durme, Dawn Lawrie, Ashwin Paranjape, Yuhao Zhang, Jack Hessel

cs.AI

Zusammenfassung

Instruktionsabgestimmte Sprachmodelle (LM) sind in der Lage, auf imperativische Befehle zu reagieren und bieten im Vergleich zu ihren Basisversionen eine natürlichere Benutzeroberfläche. In dieser Arbeit präsentieren wir Promptriever, das erste Abrufmodell, das wie ein LM aufgefordert werden kann. Um Promptriever zu trainieren, kuratieren und veröffentlichen wir einen neuen instanzbasierten Anleitungsschulungssatz aus MS MARCO, der fast 500.000 Instanzen umfasst. Promptriever erzielt nicht nur starke Leistungen bei Standardabrufaufgaben, sondern befolgt auch Anweisungen. Wir beobachten: (1) große Gewinne (Erreichen des SoTA) bei der Befolgung detaillierter Relevanzanweisungen (+14,3 p-MRR / +3,1 nDCG bei FollowIR), (2) signifikant erhöhte Robustheit gegenüber lexikalischen Auswahlmöglichkeiten/Formulierungen in der Abfrage+Anleitung (+12,9 Robustheit@10 bei InstructIR) und (3) die Fähigkeit, eine Hyperparameter-Suche über Aufforderungen durchzuführen, um die Abrufleistung zuverlässig zu verbessern (+1,4 durchschnittliche Steigerung bei BEIR). Promptriever zeigt, dass Abrufmodelle auf einer pro-Abfrage-Basis mit Aufforderungen gesteuert werden können und bereitet den Weg für zukünftige Arbeiten, die LM-Aufforderungstechniken mit der Informationsabruftechnik in Einklang bringen.

English

Instruction-tuned language models (LM) are able to respond to imperative commands, providing a more natural user interface compared to their base counterparts. In this work, we present Promptriever, the first retrieval model able to be prompted like an LM. To train Promptriever, we curate and release a new instance-level instruction training set from MS MARCO, spanning nearly 500k instances. Promptriever not only achieves strong performance on standard retrieval tasks, but also follows instructions. We observe: (1) large gains (reaching SoTA) on following detailed relevance instructions (+14.3 p-MRR / +3.1 nDCG on FollowIR), (2) significantly increased robustness to lexical choices/phrasing in the query+instruction (+12.9 Robustness@10 on InstructIR), and (3) the ability to perform hyperparameter search via prompting to reliably improve retrieval performance (+1.4 average increase on BEIR). Promptriever demonstrates that retrieval models can be controlled with prompts on a per-query basis, setting the stage for future work aligning LM prompting techniques with information retrieval.