RE-AdaptIR: Miglioramento del Recupero delle Informazioni attraverso Adattamento Inverso Ingegnerizzato

RE-AdaptIR: Improving Information Retrieval through Reverse Engineered Adaptation

June 20, 2024

Autori: William Fleshman, Benjamin Van Durme

cs.AI

Abstract

I grandi modelli linguistici (LLM) ottimizzati per il recupero di testo hanno dimostrato risultati all'avanguardia in diversi benchmark di information retrieval (IR). Tuttavia, l'addestramento supervisionato per migliorare questi modelli richiede numerosi esempi etichettati, che generalmente non sono disponibili o sono costosi da acquisire. In questo lavoro, esploriamo l'efficacia dell'estensione dell'adattamento ingegnerizzato inverso al contesto del recupero di informazioni (RE-AdaptIR). Utilizziamo RE-AdaptIR per migliorare i modelli IR basati su LLM utilizzando solo dati non etichettati. Dimostriamo un miglioramento delle prestazioni sia nei domini di addestramento che in modalità zero-shot in domini in cui i modelli non hanno visto alcuna query. Analizziamo i cambiamenti delle prestazioni in vari scenari di fine-tuning e offriamo risultati di immediata utilità per i professionisti.

English

Large language models (LLMs) fine-tuned for text-retrieval have demonstrated state-of-the-art results across several information retrieval (IR) benchmarks. However, supervised training for improving these models requires numerous labeled examples, which are generally unavailable or expensive to acquire. In this work, we explore the effectiveness of extending reverse engineered adaptation to the context of information retrieval (RE-AdaptIR). We use RE-AdaptIR to improve LLM-based IR models using only unlabeled data. We demonstrate improved performance both in training domains as well as zero-shot in domains where the models have seen no queries. We analyze performance changes in various fine-tuning scenarios and offer findings of immediate use to practitioners.