RE-AdaptIR : Amélioration de la recherche d'information par adaptation rétro-ingéniérée

RE-AdaptIR: Improving Information Retrieval through Reverse Engineered Adaptation

June 20, 2024

Auteurs: William Fleshman, Benjamin Van Durme

cs.AI

Résumé

Les grands modèles de langage (LLM) affinés pour la recherche de texte ont démontré des résultats de pointe sur plusieurs benchmarks de recherche d'information (IR). Cependant, l'entraînement supervisé pour améliorer ces modèles nécessite de nombreux exemples étiquetés, qui sont généralement indisponibles ou coûteux à acquérir. Dans ce travail, nous explorons l'efficacité de l'extension de l'adaptation par ingénierie inverse au contexte de la recherche d'information (RE-AdaptIR). Nous utilisons RE-AdaptIR pour améliorer les modèles IR basés sur LLM en utilisant uniquement des données non étiquetées. Nous démontrons une amélioration des performances à la fois dans les domaines d'entraînement et en zero-shot dans des domaines où les modèles n'ont vu aucune requête. Nous analysons les changements de performance dans divers scénarios d'affinage et proposons des résultats immédiatement utiles aux praticiens.

English

Large language models (LLMs) fine-tuned for text-retrieval have demonstrated state-of-the-art results across several information retrieval (IR) benchmarks. However, supervised training for improving these models requires numerous labeled examples, which are generally unavailable or expensive to acquire. In this work, we explore the effectiveness of extending reverse engineered adaptation to the context of information retrieval (RE-AdaptIR). We use RE-AdaptIR to improve LLM-based IR models using only unlabeled data. We demonstrate improved performance both in training domains as well as zero-shot in domains where the models have seen no queries. We analyze performance changes in various fine-tuning scenarios and offer findings of immediate use to practitioners.