RE-AdaptIR: Verbetering van Informatie Retrieval via Reverse Engineering Adaptatie

RE-AdaptIR: Improving Information Retrieval through Reverse Engineered Adaptation

June 20, 2024

Auteurs: William Fleshman, Benjamin Van Durme

cs.AI

Samenvatting

Grote taalmmodellen (LLM's) die zijn afgestemd voor tekstretrieval hebben state-of-the-art resultaten laten zien op verschillende benchmarks voor informatiezoeken (IR). Het trainen van deze modellen met supervisie vereist echter veel gelabelde voorbeelden, die over het algemeen niet beschikbaar zijn of duur zijn om te verkrijgen. In dit werk onderzoeken we de effectiviteit van het uitbreiden van reverse engineered adaptatie naar de context van informatiezoeken (RE-AdaptIR). We gebruiken RE-AdaptIR om LLM-gebaseerde IR-modellen te verbeteren met alleen ongelabelde data. We tonen verbeterde prestaties aan, zowel in de trainingsdomeinen als zero-shot in domeinen waar de modellen geen queries hebben gezien. We analyseren prestatieveranderingen in verschillende afstemscenario's en bieden bevindingen die direct bruikbaar zijn voor praktijkmensen.

English

Large language models (LLMs) fine-tuned for text-retrieval have demonstrated state-of-the-art results across several information retrieval (IR) benchmarks. However, supervised training for improving these models requires numerous labeled examples, which are generally unavailable or expensive to acquire. In this work, we explore the effectiveness of extending reverse engineered adaptation to the context of information retrieval (RE-AdaptIR). We use RE-AdaptIR to improve LLM-based IR models using only unlabeled data. We demonstrate improved performance both in training domains as well as zero-shot in domains where the models have seen no queries. We analyze performance changes in various fine-tuning scenarios and offer findings of immediate use to practitioners.