Промптриевер: обученные по инструкции извлекатели могут быть запрошены, как модели языка.

Promptriever: Instruction-Trained Retrievers Can Be Prompted Like Language Models

September 17, 2024

Авторы: Orion Weller, Benjamin Van Durme, Dawn Lawrie, Ashwin Paranjape, Yuhao Zhang, Jack Hessel

cs.AI

Аннотация

Языковые модели (LM), настроенные на инструкции, способны реагировать на повелительные команды, обеспечивая более естественный пользовательский интерфейс по сравнению с базовыми моделями. В данной работе мы представляем Promptriever, первую модель извлечения, которую можно подстроить под запрос, как LM. Для обучения Promptriever мы создаем и выпускаем новый набор данных для обучения на уровне экземпляра из MS MARCO, охватывающий почти 500 тыс. экземпляров. Promptriever не только достигает высокой производительности на стандартных задачах извлечения, но также следует инструкциям. Мы наблюдаем: (1) значительный прирост (достигнут SoTA) при выполнении подробных инструкций о релевантности (+14,3 p-MRR / +3,1 nDCG на FollowIR), (2) значительно увеличенную устойчивость к лексическим выборам/формулировкам в запросе+инструкции (+12,9 Robustness@10 на InstructIR) и (3) возможность проведения поиска гиперпараметров с помощью запросов для надежного улучшения производительности извлечения (+1,4 среднее увеличение на BEIR). Promptriever демонстрирует, что модели извлечения могут быть управляемыми с помощью запросов на основе каждого запроса, заложив основу для будущих работ по согласованию техник подсказки LM с информационным поиском.

English

Instruction-tuned language models (LM) are able to respond to imperative commands, providing a more natural user interface compared to their base counterparts. In this work, we present Promptriever, the first retrieval model able to be prompted like an LM. To train Promptriever, we curate and release a new instance-level instruction training set from MS MARCO, spanning nearly 500k instances. Promptriever not only achieves strong performance on standard retrieval tasks, but also follows instructions. We observe: (1) large gains (reaching SoTA) on following detailed relevance instructions (+14.3 p-MRR / +3.1 nDCG on FollowIR), (2) significantly increased robustness to lexical choices/phrasing in the query+instruction (+12.9 Robustness@10 on InstructIR), and (3) the ability to perform hyperparameter search via prompting to reliably improve retrieval performance (+1.4 average increase on BEIR). Promptriever demonstrates that retrieval models can be controlled with prompts on a per-query basis, setting the stage for future work aligning LM prompting techniques with information retrieval.