RE-AdaptIR: Verbesserung der Informationsgewinnung durch rückwärts entwickelte Anpassung

RE-AdaptIR: Improving Information Retrieval through Reverse Engineered Adaptation

June 20, 2024

Autoren: William Fleshman, Benjamin Van Durme

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs), die für die Textsuche feinabgestimmt sind, haben Spitzenleistung über mehrere Informationsabruf (IR)-Benchmarks gezeigt. Allerdings erfordert die überwachte Schulung zur Verbesserung dieser Modelle zahlreiche gelabelte Beispiele, die in der Regel nicht verfügbar oder teuer zu beschaffen sind. In dieser Arbeit untersuchen wir die Wirksamkeit der Erweiterung der rückwärts entwickelten Anpassung im Kontext des Informationsabrufs (RE-AdaptIR). Wir verwenden RE-AdaptIR, um LLM-basierte IR-Modelle mithilfe nur von ungelabelten Daten zu verbessern. Wir zeigen eine verbesserte Leistung sowohl in Trainingsdomänen als auch in Null-Schuss-Domänen, in denen die Modelle keine Anfragen gesehen haben. Wir analysieren Leistungsänderungen in verschiedenen Feinabstimmungsszenarien und bieten Erkenntnisse von unmittelbarem Nutzen für Praktiker.

English

Large language models (LLMs) fine-tuned for text-retrieval have demonstrated state-of-the-art results across several information retrieval (IR) benchmarks. However, supervised training for improving these models requires numerous labeled examples, which are generally unavailable or expensive to acquire. In this work, we explore the effectiveness of extending reverse engineered adaptation to the context of information retrieval (RE-AdaptIR). We use RE-AdaptIR to improve LLM-based IR models using only unlabeled data. We demonstrate improved performance both in training domains as well as zero-shot in domains where the models have seen no queries. We analyze performance changes in various fine-tuning scenarios and offer findings of immediate use to practitioners.