FollowIR: Оценка и обучение моделей информационного поиска для следования инструкциям

FollowIR: Evaluating and Teaching Information Retrieval Models to Follow Instructions

March 22, 2024

Авторы: Orion Weller, Benjamin Chang, Sean MacAvaney, Kyle Lo, Arman Cohan, Benjamin Van Durme, Dawn Lawrie, Luca Soldaini

cs.AI

Аннотация

Современные большие языковые модели (LLM) способны следовать длинным и сложным инструкциям, позволяющим выполнять разнообразные пользовательские задачи. Однако, несмотря на то, что модели информационного поиска (IR) используют LLM в качестве основы своих архитектур, почти все они все еще принимают только запросы в качестве входных данных, без инструкций. Для небольшого числа недавних моделей, которые принимают инструкции, неясно, как они их используют. Мы представляем наш набор данных FollowIR, который содержит строгий бенчмарк оценки инструкций, а также набор данных для помощи моделям IR научиться лучше следовать реальным инструкциям. FollowIR продолжает долгую историю конференций TREC: так как TREC предоставляет человеческим аннотаторам инструкции (также известные как повествования) для определения релевантности документов, модели IR также должны быть способны понимать и определять релевантность на основе этих подробных инструкций. Наш бенчмарк оценки начинается с трех тщательно оцененных коллекций TREC и изменяет инструкции аннотаторов, повторно аннотируя релевантные документы. Через этот процесс мы можем измерить, насколько хорошо модели IR следуют инструкциям, используя новую схему оценки попарно. Наши результаты показывают, что существующие модели поиска не умеют правильно использовать инструкции, используя их для базовых ключевых слов и испытывая трудности в понимании информации в длинной форме. Однако мы показываем, что модели IR могут научиться следовать сложным инструкциям: наша новая модель FollowIR-7B показывает значительные улучшения (более 13%) после донастройки на нашем наборе данных.

English

Modern Large Language Models (LLMs) are capable of following long and complex instructions that enable a diverse amount of user tasks. However, despite Information Retrieval (IR) models using LLMs as the backbone of their architectures, nearly all of them still only take queries as input, with no instructions. For the handful of recent models that do take instructions, it's unclear how they use them. We introduce our dataset FollowIR, which contains a rigorous instruction evaluation benchmark as well as a training set for helping IR models learn to better follow real-world instructions. FollowIR builds off the long history of the TREC conferences: as TREC provides human annotators with instructions (also known as narratives) to determine document relevance, so should IR models be able to understand and decide relevance based on these detailed instructions. Our evaluation benchmark starts with three deeply judged TREC collections and alters the annotator instructions, re-annotating relevant documents. Through this process, we can measure how well IR models follow instructions, through a new pairwise evaluation framework. Our results indicate that existing retrieval models fail to correctly use instructions, using them for basic keywords and struggling to understand long-form information. However, we show that it is possible for IR models to learn to follow complex instructions: our new FollowIR-7B model has significant improvements (over 13%) after fine-tuning on our training set.