FollowIR: Valutazione e Insegnamento ai Modelli di Information Retrieval per Seguire le Istruzioni

FollowIR: Evaluating and Teaching Information Retrieval Models to Follow Instructions

March 22, 2024

Autori: Orion Weller, Benjamin Chang, Sean MacAvaney, Kyle Lo, Arman Cohan, Benjamin Van Durme, Dawn Lawrie, Luca Soldaini

cs.AI

Abstract

I moderni Large Language Models (LLM) sono in grado di seguire istruzioni lunghe e complesse che abilitano una vasta gamma di attività utente. Tuttavia, nonostante i modelli di Information Retrieval (IR) utilizzino gli LLM come base delle loro architetture, quasi tutti accettano ancora solo query come input, senza istruzioni. Per i pochi modelli recenti che accettano istruzioni, non è chiaro come le utilizzino. Introduciamo il nostro dataset FollowIR, che include un rigoroso benchmark di valutazione delle istruzioni e un set di addestramento per aiutare i modelli IR a imparare a seguire meglio le istruzioni del mondo reale. FollowIR si basa sulla lunga storia delle conferenze TREC: poiché TREC fornisce agli annotatori umani delle istruzioni (note anche come narrative) per determinare la rilevanza dei documenti, allo stesso modo i modelli IR dovrebbero essere in grado di comprendere e decidere la rilevanza basandosi su queste istruzioni dettagliate. Il nostro benchmark di valutazione parte da tre collezioni TREC giudicate in profondità e modifica le istruzioni degli annotatori, ri-annotando i documenti rilevanti. Attraverso questo processo, possiamo misurare quanto bene i modelli IR seguono le istruzioni, utilizzando un nuovo framework di valutazione a coppie. I nostri risultati indicano che i modelli di retrieval esistenti non riescono a utilizzare correttamente le istruzioni, limitandosi a estrarre parole chiave di base e trovando difficoltà a comprendere informazioni lunghe e articolate. Tuttavia, dimostriamo che è possibile per i modelli IR imparare a seguire istruzioni complesse: il nostro nuovo modello FollowIR-7B mostra miglioramenti significativi (oltre il 13%) dopo il fine-tuning sul nostro set di addestramento.

English

Modern Large Language Models (LLMs) are capable of following long and complex instructions that enable a diverse amount of user tasks. However, despite Information Retrieval (IR) models using LLMs as the backbone of their architectures, nearly all of them still only take queries as input, with no instructions. For the handful of recent models that do take instructions, it's unclear how they use them. We introduce our dataset FollowIR, which contains a rigorous instruction evaluation benchmark as well as a training set for helping IR models learn to better follow real-world instructions. FollowIR builds off the long history of the TREC conferences: as TREC provides human annotators with instructions (also known as narratives) to determine document relevance, so should IR models be able to understand and decide relevance based on these detailed instructions. Our evaluation benchmark starts with three deeply judged TREC collections and alters the annotator instructions, re-annotating relevant documents. Through this process, we can measure how well IR models follow instructions, through a new pairwise evaluation framework. Our results indicate that existing retrieval models fail to correctly use instructions, using them for basic keywords and struggling to understand long-form information. However, we show that it is possible for IR models to learn to follow complex instructions: our new FollowIR-7B model has significant improvements (over 13%) after fine-tuning on our training set.