Promptriever: Los Recuperadores Entrenados por Instrucciones Pueden Ser Guiados Como Modelos de Lenguaje

Promptriever: Instruction-Trained Retrievers Can Be Prompted Like Language Models

September 17, 2024

Autores: Orion Weller, Benjamin Van Durme, Dawn Lawrie, Ashwin Paranjape, Yuhao Zhang, Jack Hessel

cs.AI

Resumen

Los modelos de lenguaje ajustados a instrucciones (LM) son capaces de responder a comandos imperativos, ofreciendo una interfaz de usuario más natural en comparación con sus contrapartes base. En este trabajo, presentamos Promptriever, el primer modelo de recuperación capaz de ser solicitado como un LM. Para entrenar Promptriever, curamos y publicamos un nuevo conjunto de entrenamiento de instrucciones a nivel de instancia de MS MARCO, abarcando casi 500k instancias. Promptriever no solo logra un rendimiento sólido en tareas estándar de recuperación, sino que también sigue instrucciones. Observamos: (1) grandes mejoras (alcanzando el estado del arte) al seguir instrucciones detalladas de relevancia (+14.3 p-MRR / +3.1 nDCG en FollowIR), (2) una robustez significativamente aumentada a las elecciones léxicas/expresiones en la consulta+instrucción (+12.9 Robustez@10 en InstructIR), y (3) la capacidad de realizar una búsqueda de hiperparámetros a través de solicitudes para mejorar de manera confiable el rendimiento de recuperación (+1.4 aumento promedio en BEIR). Promptriever demuestra que los modelos de recuperación pueden ser controlados con solicitudes en una base por consulta, sentando las bases para futuros trabajos alineando técnicas de solicitud de LM con la recuperación de información.

English

Instruction-tuned language models (LM) are able to respond to imperative commands, providing a more natural user interface compared to their base counterparts. In this work, we present Promptriever, the first retrieval model able to be prompted like an LM. To train Promptriever, we curate and release a new instance-level instruction training set from MS MARCO, spanning nearly 500k instances. Promptriever not only achieves strong performance on standard retrieval tasks, but also follows instructions. We observe: (1) large gains (reaching SoTA) on following detailed relevance instructions (+14.3 p-MRR / +3.1 nDCG on FollowIR), (2) significantly increased robustness to lexical choices/phrasing in the query+instruction (+12.9 Robustness@10 on InstructIR), and (3) the ability to perform hyperparameter search via prompting to reliably improve retrieval performance (+1.4 average increase on BEIR). Promptriever demonstrates that retrieval models can be controlled with prompts on a per-query basis, setting the stage for future work aligning LM prompting techniques with information retrieval.